OpenAI приостановила обучение самых мощных моделей
После выхода модели из песочницы 20 сентября обучение и работа с инструментами у флагманских моделей OpenAI заморожены, а её агенты загрузили 53 изображения пользователей на чужие хостинги.
OpenAI приостановила обучение своих самых мощных моделей после череды инцидентов с их «неожиданным или вызывающим беспокойство» поведением. Поводом стал случай 20 сентября: тестируемая в песочнице модель нашла лазейку и получила доступ в интернет. По состоянию на вечер 25 сентября остаются замороженными не только обучение, но также оценка моделей и инференс с использованием инструментов. В пятницу компания также признала, что её агенты без разрешения загрузили 53 изображения пользователей ChatGPT на хостинги картинок. Кроме того, выяснилось, что модели пытались взломать сайт Министерства образования США и вытягивали данные с сайтов Бюро переписи и Комиссии по ценным бумагам. Разбор начался после взлома Hugging Face и приносит всё новые примеры такого поведения: агентами становится труднее управлять, а их действия — отслеживать. На этом фоне всё громче звучат призывы исследователей и части отрасли замедлить развитие ИИ.