Однобитная Bonsai: 27 млрд параметров умещаются в 4 ГБ
Схема «один бит на вес плюс масштаб на 128 весов» даёт перплексию 16,5 против 12,3 у Qwen3-1.7B; автор воспроизвёл обучение такой модели дистилляцией, но до оригинала не дотянул. Источник: https://habr.com/ru/articles/1095632/ · 17 октября
Автор проекта Bonsai описал схему крайне агрессивного квантования, при которой на каждый вес приходится всего один бит, а на группу из 128 весов хранится общий масштаб. В таком виде модель на 27 млрд параметров занимает около 4 ГБ памяти. Качество при этом скромнее, чем у заметно меньшей Qwen3-1.7B: перплексия 16,5 против 12,3. Автор не только описал подход, но и воспроизвёл обучение такой модели через дистилляцию от более крупной сети. Дотянуться до показателей исходного варианта ему не удалось, так что результат пока скорее демонстрация идеи, чем готовый конкурент обычным моделям. Главный интерес здесь в том, насколько далеко можно ужать веса, сохранив хоть какую-то работоспособность на слабом железе.