Домашний LLM-сервер: личная нейросеть без подписок
Автор на Habr собрал локальный LLM-сервер на 8 ядрах и 32 ГБ памяти: Ollama отдаёт API на 127.0.0.1:11434, а доступ снаружи даёт обратный туннель. Главный совет — закрыть API токеном.
Автор на Habr описал, как собрал личный LLM-сервер дома и сделал его доступным из любой точки мира. Конфигурация — 8 ядер CPU и 32 ГБ памяти, модель целиком живёт в памяти; GPU на 12 ГБ желателен, но без него модели на 7–8 млрд параметров тоже работают, только медленнее. Запуск построен на Ollama, которая держит REST API на 127.0.0.1:11434. Пробрасывать порты на роутере автор не советует: вместо этого сервер сам подключается наружу через обратный туннель и получает постоянный адрес. Особый акцент — на безопасности: API в интернете нужно закрыть токеном, иначе сканеры найдут его за часы. Туннель автор оборачивает в systemd, чтобы он поднимался сам после перезагрузки.