Liquid AI ускорила зрительно-языковую модель LFM2.5-VL

Liquid AI выпустила экспериментальную draft-модель DSpark для своей зрительно-языковой модели LFM2.5-VL-3B. Она добавляет схему спекулятивного декодирования: черновая модель предлагает блоки токенов, а основная их проверяет. Это даёт ускорение ценой небольшого роста памяти и без потери качества ответов. Черновик собран из четырёх слоёв внимания с размером блока 9, обучен 10 эпох на смеси мультимодальных данных и занимает около 280 млн параметров — это всего плюс 8,9% к размеру основной модели. Изображения и текст проецируются в общее представление, поэтому алгоритм вывода не отличается от текстовых версий. Модель сразу поддерживается популярными библиотеками инференса.