«Обратная теория игр» как способ удержать ИИ-агентов в рамках
Вместо попыток заглянуть в «мозг» модели исследователи предлагают mechanism design: проектировать правила, при которых агенту выгодно соблюдать ограничения. Источник: https://www.technologyreview.com/2026/11/03/1147934/reverse-game-theory-mechanism-design-ai-alignment/ — 3 ноября
Исследователи предлагают отойти от попыток разобраться во внутренних механизмах модели и вместо этого проектировать среду, в которой агенту просто невыгодно нарушать правила. Подход опирается на mechanism design — ту же логику, что используют при создании аукционов и стимулов в экономике: ограничения закладываются в саму конструкцию задачи. Такой «обратный» взгляд на теорию игр переводит задачу выравнивания (alignment) из плоскости анализа «мозга» модели в плоскость правил и стимулов вокруг неё. Материал об этом вышел в MIT Technology Review 3 ноября. Практическая ценность в том, что проверять и настраивать такие правила проще, чем интерпретировать внутренности нейросети.