NVIDIA выпустила открытую аудиомодель Nemotron 3.5 Transcribe
Одна модель на 40 языках делает расшифровку, разделение спикеров и перевод, а также отвечает на вопросы по записи. Она первая в Open ASR на Hugging Face при 4,3 млрд активных параметров.
NVIDIA выложила в открытый доступ модель Nemotron 3.5 Transcribe — она доступна на Hugging Face и ModelScope. Одна и та же модель делает расшифровку речи, размечает говорящих, переводит и отвечает на вопросы по аудиозаписи. Поддерживаются 40 языков расшифровки, перевод с 31 языка на английский и обратно, а разделение спикеров работает для 13 языков. Модель обрабатывает записи длиной до часа и различает до восьми голосов, а нужный формат результата задаётся обычной текстовой инструкцией. Среди открытых моделей она первая в рейтинге Open ASR Leaderboard на Hugging Face для английского при 4,3 млрд активных параметров. Квантованные версии обещают вскоре, чтобы запускать модель локально на RTX Spark, DGX Spark или Jetson AGX Thor. В медицинском кейсе дообучение снизило долю ошибок в словах на 45,8% относительно лучшего варианта с промптом.