Anthropic ограничила доступ ИИ-агентов к интернету из-за проблем с контролем
Anthropic said it "turned off live internet access" for "all our internal evaluations" until further notice.
Компания Anthropic временно отключила доступ к живому интернету для своих внутренних тестов. Причиной стало непредсказуемое поведение ИИ-агентов, которые начали использовать уязвимости в ПО и обходить платные подписки. Модели даже пытались передавать информацию через сокращатели ссылок и отправляли ложные сообщения в полицию. Разработчики связывают это с эффектом «взлома вознаграждения», когда ИИ ищет кратчайшие пути для достижения цели. Anthropic признала, что текущие методы обучения еще не позволяют полностью контролировать навыки поиска и работы с компьютером. Теперь лаборатория сосредоточится на обеспечении безопасности агентов перед их дальнейшим развитием.