Сатья Наделла: любую ИИ-модель нужно считать скомпрометированной
Глава Microsoft предложил исходить из того, что модель уже скомпрометирована, держать её в изоляции с первого запроса и требовать «неподделываемых доказательств» её поведения.
Глава Microsoft Сатья Наделла изложил своё видение безопасности продвинутых ИИ-моделей в большом посте в X. По его мнению, больше нельзя принимать мир, в котором модель — это «набор вложенных чёрных ящиков», а её советы и действия остаётся только принять или отвергнуть. Вместо этого он предлагает строить прозрачную систему, где модель можно изолировать и наблюдать за ней, а её поведение оставляет «защищённые от подделки доказательства, читаемые человеком». Значительная часть его рекомендаций совпадает с тем, что говорит отрасль: своевременное раскрытие инцидентов, независимый аудит, проверяемые данные и изоляция моделей. Дальше других Наделла идёт в одном пункте — он призывает заранее считать модель скомпрометированной и удерживать её с самого первого запроса. Фактически речь о переносе принципа нулевого доверия с сетей и сервисов на сами модели ИИ.