Голосовым ботам на LLM снова нужен классификатор
LLM на реальных звонках путается, дорожает и отвечает медленно, поэтому часть решений отдают быстрой модели вроде Jev от TypeSafe. Автор сравнивает её с классификатором Voximplant и открытыми аналогами.
Голосовые боты на больших языковых моделях хорошо звучат, но в реальных телефонных разговорах часто ошибаются: могут сорвать запись клиента или перебить задумавшегося человека. Поэтому часть задач предлагают передавать быстрой модели-классификатору, которая выделяет намерение и структурированные сущности. Сейчас активно обсуждают Jev от TypeSafe, и у этого подхода уже есть открытые аналоги. Voximplant в 2022–2024 годах использовал собственный классификатор Avatar, который быстро и дешево определял intent и entities. После появления LLM казалось, что классификатор больше не нужен, но средние модели галлюцинируют, а большие слишком дороги, медленны или недоступны в отдельных регионах. На практике конструкторы собирают многостадийных ботов, добавляют агентов-маршрутизаторов и оставляют скриптованные участки диалога. Voximplant на сотнях проектов в год пришел к выводу, что одна модель не вытягивает весь разговор, и переделывает Avatar на небольшую быструю языковую модель.