Модель на 360M параметров изображает терминал без шелла
Разработчик дообучил языковую модель примерно на 360 млн параметров, чтобы она работала как терминал: за ней нет ни настоящего шелла, ни файловой системы, а на вход подаётся каждое нажатие клавиши, после чего модель предсказывает новое состояние экрана.
Разработчик дообучил языковую модель примерно на 360 млн параметров, чтобы она работала как терминал: за ней нет ни настоящего шелла, ни файловой системы, а на вход подаётся каждое нажатие клавиши, после чего модель предсказывает новое состояние экрана. За основу взяли Qwen2.5-Coder-0.5B и обучили её на 336 тысячах сессий, записанных с реальных программ внутри Docker. Вместо привычного дописывания текста токен за токеном модель предсказывает изменения сетки символов, что позволяет ей корректно реагировать на действия вроде Esc в vim или очистку экрана командой clear. Двумя главными приёмами стали обучение модели исправлять собственные ошибки и параллельное декодирование строк экрана: на больших кадрах задержка p95 на RTX 4090 снизилась с 6,7 до 0,87 секунды. В демонстрации модель создаёт файлы, запускает vim и tmux и даже играет в змейку, обычно сохраняя контекст нескольких предыдущих команд. Попробовать можно в браузере: демо весит 208 МБ, требует WebGPU и физическую клавиатуру, лучше всего работает в Chrome или Edge, а на телефоне запускается, но очень медленно.