Сколько стоит инференс модели Yandex AliceAI-Foundation-80B-A3B-Base
Автор на Habr разобрал, во что обходится запуск свежего претрейна Yandex: четыре A100, схема через Datasphere Jobs и итог в 1000 рублей за эксперимент.
Автор на Habr посчитал, во сколько обходится инференс свежего претрейна Yandex — модели AliceAI-Foundation-80B-A3B-Base. По его оценкам, для работы нужно четыре ускорителя A100; вариант на паре карт требует выгрузки вычислений на CPU и квантизации, на такие компромиссы он идти не готов. Аренду GPU он взял в облаке и начал с Datasphere на Jupiter Notebook, но первый подход провалился и обошёлся в 6000 рублей. Затем он пытался получить виртуальную машину с четырьмя A100 и поднимал квоты через тикеты, однако нужную конфигурацию так и не выдал никто, а на Gen2 квоту даже не поднимают. Рабочей оказалась схема через Datasphere Jobs: хранилище проекта на 400 ГБ, готовый образ alice-ai-vllm и запуск vllm с параметром tensor-parallel-size 4. Старт такой конфигурации занимает около 20 минут, а всё упражнение стоило 1000 рублей.