Маленькая модель учится без роста весов: что упёрлось в потолок
Автор продолжает опыты с небольшой LLM, которая помещается на домашнюю видеокарту, и объясняет, почему простое дообучение перестало давать прирост.
На Хабре вышло продолжение опытов с небольшой языковой моделью, которая помещается на обычную домашнюю видеокарту. Автор проверяет, может ли такая модель становиться умнее со временем не за счёт роста числа параметров, а за счёт памяти, аккуратного дообучения и проверки ответов. В новой статье он признаёт: повторное обучение упёрлось в потолок, и разбирает, почему одной дообучаемости оказалось мало. Сами опыты — часть работы над архитектурой LANN-4: сети, которая учится всю «жизнь», имея небольшой неизменный «мозг» и вынесенную наружу память. Автор честно оговаривает, что самой архитектуры пока нет — она не выбрана и не построена, а подопытные модели лишь инструменты исследования. Ценность материала в том, что он показывает не только удачные шаги, но и отрицательные результаты, которые обычно не публикуют.