Голосовым ботам на LLM вернули быстрый классификатор

На реальных телефонных звонках голосовые боты, построенные только на больших языковых моделях, часто теряют цель разговора и перебивают собеседника. Чтобы исправить это, часть решений перекладывают с LLM на лёгкие специализированные модели — например, Jev от TypeSafe. Такие классификаторы быстрее определяют намерение клиента и помогают боту вовремя замолчать или сменить тактику. Подход уже используется повторно в Voximplant. Идея в том, чтобы оставить LLM генерацию реплик, а скорость и устойчивость разговора обеспечить более простыми моделями.