Как использовать «рецепты» вместо хранения огромных матриц весов

Разработчики исследуют способы сжатия нейросетей через использование «рецептов» вместо хранения весов. Вместо гигантских матриц параметров предлагается вычислять их на лету с помощью специальных формул. Это может решить проблему огромного объема памяти, необходимого для современных LLM. Например, веса модели Kimi-K3 могут занимать около 1,4 ТБ, что крайне неэффективно. Подход с «рецептами» позволит запускать сложные модели на менее мощном оборудовании. Статья анализирует различные методы генерации весов и их практическую применимость.