GPT-6.1 Sol научилась переписывать COBOL: 86,6% против 5,4% у прошлой модели
OpenAI выпустила бенчмарк MultiLangBench для «малоресурсных» языков — COBOL, Fortran, Visual Basic, OCaml — и результаты закрытого теста на перенос старого кода. С дополнительным временем на размышление новая модель доводит результат до 97,9%.
OpenAI рассказала, как её модели справляются с редкими в обучающих данных языками программирования — COBOL, Fortran, Visual Basic и OCaml. Компания представила новый бенчмарк MultiLangBench и обнародовала итоги закрытого теста по переносу старого кода на современные языки. На этом тесте предыдущая модель GPT-5.6 Sol решила 5,4% задач, а GPT-6.1 Sol при тех же условиях — 86,6%; если дать ей больше времени на рассуждение, показатель доходит до 97,9%. MultiLangBench требует не решать учебные задачки, а с нуля написать движок базы данных, совместимый с SQLite 3.40.1, на одном из 20 языков, включая COBOL, Fortran, Zig и Lean, причём без доступа к интернету и примерам кода. Сложность в том, что на COBOL почти нет открытого кода: большинство банковских программ никогда не покидали компании, поэтому моделям не на чем учиться. Масштаб рынка при этом огромный: по оценкам IBM, на COBOL работают более 40% систем онлайн-банкинга, 80% оплат картой и 95% операций в банкоматах. Интерес к теме растёт: в феврале Anthropic заявила, что Claude Code берёт на себя разбор и документирование старого кода, после чего акции IBM упали на 13,2% — сильнее всего с октября 2000 года.