Block представила голосовую модель Dessa
Модель Джека Дорси обучена только на человеческой речи, говорит и слушает одновременно, передаёт смех, паузы и эмоции. Запускается локально на MacBook M4 Max, публичного доступа пока нет.
Исследовательское подразделение Block, компании Джека Дорси, выпустило голосовую модель Dessa, которая работает локально и звучит заметно человечнее многих аналогов. Модель обучали только на человеческой речи и с использованием одной стойки с GPU NVIDIA. Dessa работает в full-duplex-режиме: может говорить и слушать одновременно, как GPT-Live от OpenAI. В отличие от схем, где голосовой модуль опирается на большую языковую модель, знания Dessa берутся из разговорных данных, а эмоции встроены в генерацию, а не задаются текстовыми тегами. В примерах Block бот звучал усталым или почти расстроенным в зависимости от контекста. Dessa запускается на потребительском компьютере уровня MacBook M4 Max или мощнее, но публичного доступа пока нет: компания приглашает исследователей по безопасности протестировать модель. В перспективе Block сможет использовать её для бизнес-сценариев вроде голосовых заказов в Square и снизить расходы.