PrismML запустила крошечные языковые модели на умных очках с Qualcomm
PrismML показала 1-битную модель Bonsai на платформе Snapdragon AR1 Gen 1: она работает локально на умных очках и понимает изображение.
Лаборатория PrismML, основанная исследователями из Caltech, адаптировала свои компактные языковые модели для умных очков на чипах Qualcomm. На саммите Snapdragon компания Qualcomm показала 1-битную модель Bonsai, которая запускается локально на платформе Snapdragon AR1 Gen 1. Версия для очков содержит 2 млрд параметров и настроена на работу с изображением и текстом, поэтому владелец может спросить, что он видит перед собой. PrismML сжимает крупные модели примерно вчетверо, сохраняя почти всё качество на стандартных тестах. Цель стартапа — открытые веса и ИИ, который работает на устройстве и не требует доверия к обещаниям закрытых лабораторий о приватности. Готовых очков с этими моделями пока никто не анонсировал.