Microsoft сделала проверку состояния БД наградой для обучения агентов ThinkingBox

Команда Microsoft развила свой проект ThinkingBox: инструмент сравнивает итоговое состояние базы данных после работы агента с ожидаемым результатом и выдаёт 1 или 0. Эту же исполняемую проверку стали использовать не только для оценки, но и как функцию вознаграждения при дообучении агентов на задачах вне бенчмарка. Чтобы отобрать подходящие задания, применили подход offline policy-relative difficulty: вероятность успеха для каждой задачи один раз замеряли базовой моделью, а сам пул заданий фиксировали на всё время обучения. Qwen3.8-27B дообучили методом GRPO за 50 шагов: средний успех вырос с 51,70% до 60,78%. Число задач, которые модель решила правильно во всех двадцати попытках, поднялось с 38 до 107, при этом доля задач, решённых хотя бы раз, немного снизилась — авторы отдельно разбирают этот компромисс. Всего в бенчмарке 507 задач, каждую проверяли 20 раз, что даёт 10 140 попыток. Код ThinkingBox-Training выложен на GitHub.