NLI-модель в ассистенте для встреч: где она работает и откуда её убрали
Десятая часть цикла про локального ассистента для зумов: как NLI ловит противоречия между протоколами одной встречи и во что обходится такая проверка.
В цикле о локальном ассистенте для встреч вышла десятая часть — про NLI-модель, которая проверяет утверждения на противоречия. Автор напоминает, что для эмбеддингов фразы «бюджет согласован» и «бюджет не согласован» почти одинаковы: слова те же, а частица «не» в векторе весит мало — хотя для встречи это противоположные решения. Проблема подтвердилась на практике: один и тот же протокол, прогнанный четыре раза, дал 39 разных утверждений, из которых 32 встретились только в одном прогоне, а совпадающего набора не было ни разу. Чтобы сравнивать версии протоколов, автор взял мультиязычную модель mDeBERTa-v3, обученную более чем на двух миллионах пар, и перевёл её в ONNX — итоговый файл занял 1,1 ГБ. В статье разобрано, в каких местах конвейера NLI держится третий месяц, откуда её пришлось убрать и сколько это стоило по ресурсам.