AllenAI выпустила StateBench для проверки отслеживания состояний
Новый бенчмарк измеряет, как модели держат в голове изменения сущностей в длинных документах. Даже Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol и Luna ломаются на сложных цепочках изменений. Источник: https://huggingface.co/blog/allenai/statebench — 3 ноября
Команда AllenAI представила StateBench — новый бенчмарк, который проверяет, насколько хорошо языковые модели следят за изменениями сущностей в длинных документах. Задача состоит в том, чтобы удерживать в «памяти» все правки и не терять актуальное состояние объекта по ходу текста. Оказалось, что с этим справляются далеко не все: даже сильные модели Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и Luna ошибаются, когда цепочки изменений становятся длинными и запутанными. Результаты показывают, что отслеживание состояния остаётся отдельной сложной проблемой, а не побочным эффектом общего роста качества моделей. Бенчмарк опубликован в блоге AllenAI на Hugging Face 3 ноября.