StateBench проверяет, как модели отслеживают изменения в длинных документах
Новый бенчмарк от AI2 оценивает способность LLM держать в голове состояние объекта через весь текст, а не только начало и конец. Источник: https://huggingface.co/blog/allenai/statebench — 3 ноября 2026
Команда Allen Institute for AI (AI2) представила новый бенчмарк StateBench. Он нужен, чтобы проверять, насколько языковые модели способны удерживать состояние объекта на протяжении всего длинного текста. Обычные тесты часто смотрят только на начало и конец документа, из-за чего модель может выглядеть успешной, хотя середину она фактически не учитывает. StateBench ставит задачу иначе: нужно следить, как меняются свойства объекта по мере чтения, и не терять эти изменения. Такой замер должен лучше показать, где именно модели ошибаются при работе с объёмными материалами. Подробности и результаты опубликованы в блоге AI2 на Hugging Face 3 ноября 2026 года.