Физики нашли формулу для предсказания опасного поведения чат-ботов

Американские исследователи разработали математический метод для выявления рисков перехода ИИ к небезопасным ответам. Метод основан на анализе механизма внимания нейросети и позволяет предсказать вредоносное поведение еще до его совершения. Это особенно важно для автономных моделей на смартфонах, которые работают без облачного контроля. В ходе тестов на семи моделях формула верно предсказала переход к опасным ответам в 18 из 19 случаев. Ученые выяснили, что даже порядок вопросов может радикально менять реакцию ИИ. Новая технология может стать системой раннего предупреждения для персональных устройств.