Домашний ИИ и пути развития: одна Tesla V100 32 ГБ в 2026 году
Старая серверная карта Tesla V100 на 32 ГБ до сих пор стоит как одна современная видеокарта среднего класса, а памяти у неё столько, что в неё целиком помещается модель на 30 млрд параметров, а с ухищрениями поднимается модель на 120 млрд параметров. Собрал на ней домашний сервер для локальных моделей, прогнал замеры скорости и выяснил, что половина моих “выводов” была ошибками измерения. Читать д
Автор собрал домашний сервер для запуска локальных языковых моделей на старой серверной карте Tesla V100-SXM2 на 32 ГБ памяти (архитектура Volta, compute capability 7.0), установленной через переходник SXM2 → PCIe. Такая карта до сих пор стоит примерно как одна современная видеокарта среднего класса, но её памяти хватает, чтобы целиком вместить модель на 30 млрд параметров, а с дополнительными ухищрениями — и на 120 млрд. Тестовый стенд работал под Ubuntu 26.04 с драйвером NVIDIA 580, 30 ГБ оперативной памяти в основных замерах и слабым 4-ядерным процессором; для отдельного эксперимента с Strata автор докупил память до 96 ГБ и использовал стенд на Ryzen 7 PRO 4750G. Замеры скорости проводились на одних и тех же файлах GGUF в двух движках — Ollama и llama.cpp. Мотивацией была не экономия на подписке, а приватность и чувствительные данные: восстановление повреждённой базы 1С с персональными данными людей, локальное распознавание звука с видеозаписей и проекты по криптографии, где данные не должны уходить в облако. Скрипты и сырые результаты автор выложил в открытом репозитории github.com/DmNep/llm-bench-v100. По ходу работы он выяснил, что половина его первоначальных выводов о производительности объяснялась ошибками в методике измерений, а не реальными различиями железа или софта.