Однобитная Bonsai: 27 млрд параметров умещаются в 4 ГБ
Схема «один бит на вес плюс масштаб на 128 весов» даёт перплексию 16,5 против 12,3 у Qwen3-1.7B; автор воспроизвёл обучение такой модели дистилляцией, но до оригинала не дотянул. Источник: https://habr.com/ru/articles/1095632/ · 17 октября