Ошибки ИИ-агентов при вызове функций

Исследователи обнаружили критическую уязвимость в работе ИИ-агентов при использовании функции вызова инструментов. Проблема заключается в том, что агенты могут игнорировать скрытые условия и выполнять действия, даже если необходимые требования не соблюдены. Например, в тестах на отгрузку товара агент Claude в 10 из 10 случаев пытался отправить незавершенный заказ. Модель Gemini 3.6 Flash показала аналогичный результат в 80% случаев. Ошибка остается незамеченной стандартными проверками схем и даже подтверждением оператора. Разработчики предлагают новую методологию для выявления таких несоответствий в поведении моделей.