Open TTS Leaderboard от HuggingFace
HuggingFace запустил новый бенчмарк для оценки систем синтеза речи и клонирования голоса. Он использует объективные метрики, чтобы помочь сообществу ориентироваться в обилии open-source моделей.
Hugging Face запустила Open TTS Leaderboard — публичный рейтинг моделей синтеза речи на основе объективных метрик. Поводом стало то, что на платформе уже больше восьми тысяч TTS-моделей, а их оценка остаётся разрозненной. Главный стандарт — оценки людей (MOS и MUSHRA) — плохо масштабируется: в аренах с голосованием открытые модели представлены слабо, из 92 моделей в рейтинге Artificial Analysis открытыми весами обладают лишь 16. Новый лидерборд считает понятность речи через WER распознавателя и сохранение голоса через оценку схожести диктора — это позволяет оценивать модель за часы вместо недель голосования. Авторы подчёркивают, что рейтинг не заменяет человеческие предпочтения: естественность и выразительность такие метрики напрямую не измеряют, но помогают выбирать модели для дальнейшего сравнения.