Nemotron 3 Diarization меняет локальные ассистенты для созвонов
Разметка 20-минутного звонка ускорилась с семи минут до трёх секунд, но на синтетических голосах модель ошибается.
Автор серии статей о локальном ассистенте для созвонов заменил свою связку диаризации на модель NVIDIA Nemotron 3 Diarization, вышедшую 23 сентября, и проверил её 28-го. Прежнее решение на sherpa-onnx размечало канал собеседников двадцатиминутного звонка примерно семь минут, а новая модель делает то же за три секунды. Она построена как Sortformer на 100 млн параметров и поддерживает до восьми голосов, а на каждые 10 мс даёт вероятность для каждого голоса, поэтому двух говорящих в одном кадре для неё норма. На тестовой записи с перебиваниями результат почти идеальный: показатель ошибки DER 0,039 и все 4,5 секунды одновременной речи размечены верно. Зато на синтетических голосах, говорящих по очереди, модель ошибается: все четыре голоса попали в один слот с DER 0,628, поэтому судить её стоит по живым записям. Русского языка в обучении нет, веса выложены по лицензии NVIDIA OpenMDW, а автор запускает готовый MLX-порт через mlx-audio только на Apple Silicon.