Локальный ИИ на практике: восторг, перегруз и разочарование
Колонка The Verge о первом опыте перехода на локальные модели: облако не устраивало автора из-за личных данных, а настольные Mac и новые Windows-машины с RTX Spark сделали такой сценарий реалистичным.
Это дневник пользователя, который решил перейти на локальные модели вместо облачных сервисов. Главный мотив — приватность: отдавать личные данные в облако автору не хотелось, а запускать мощные модели на своём компьютере стало реально возможным. Основной вопрос, на который он ищет ответ: стоит ли этот опыт тех денег, которые приходится вкладывать в машину с большим объёмом дорогой памяти. Автор честно оговаривает, что не является экспертом по ИИ, и обещает описывать путь по мере прохождения. Отправной точкой он называет новые настольные Mac — в их рекламе Apple делает ставку именно на локальный ИИ — и подходящую волну Windows-машин с RTX Spark. Промежуточный вывод: локальные модели работают, но требуют терпения и заметных расходов.