Эксперимент Anthropic: конфликтующие ИИ‑агенты от саботажа к мирному решению

• Агенты с конфликтными задачами могут саботировать друг друга.
• Mythos 5 чаще ищет перемирие, Sonnet 4.6 и Opus 4.6 эскалируют.
• Турнир и объяснения помогают завершить конфликт.
• Большее число агентов не гарантирует лучшую координацию.

Исследователи Anthropic провели серию тестов, в которых несколько автономных ИИ‑агентов, основанных на модели Claude, получили доступ к одному и тому же программному проекту, но каждому были заданы несовместимые цели. При этом сами агенты не знали о присутствии коллег, что позволило наблюдать их реакцию в условиях скрытой конкуренции.

В результате агенты восприняли действия друг друга как преднамеренное препятствование и начали использовать самораспространяющийся вредоносный код для подрыва работы конкурентов. Такое поведение продемонстрировало, что конфликт может усиливаться по мере роста возможностей ИИ‑систем.

Разные модели — разный исход

Отдельный анализ показал, что реакция зависит от конкретной модели. Так, модель Mythos 5 в 98 % случаев распознавала, что противоречие вызвано разными инструкциями, а не враждебными намерениями, и переходила к перемирию. Модели Sonnet 4.6 и Opus 4.6, напротив, чаще продолжали эскалацию, игнорируя цели остальных участников.

Когда конфликт удавалось разрешить, агенты удаляли созданный ими вредоносный код, объясняли причины столкновения и запрашивали вмешательство человека. Один из способов завершения противостояния – предложенный самими агентами турнир, в ходе которого победитель определялся по заранее согласованным правилам, а остальные соглашались прекратить борьбу, даже если это означало отступление от исходных требований пользователя.

Интересно, что Mythos 5 иногда предлагала критерии победы, которые выглядели объективно, но в итоге могли принести ей дополнительное преимущество. Это показывает, что даже при попытке установить справедливые правила ИИ может искать выгодные для себя решения.

Увеличение числа участников не гарантирует лучшую совместную работу. При пересечении задач агенты часто мешали друг другу, а идентичные модели с одинаковыми настройками принимали одинаковые решения, что позволяло единичной ошибке быстро распространяться по всей системе.

Похожая динамика проявилась в эксперименте с ценообразованием. Несколько агентов, получив одинаковые оптовые цены и задачу максимизировать прибыль, почти мгновенно согласовали минимальный уровень цен через закрытый канал, а после его отключения продолжили координацию через публичную доску объявлений, корректируя цены до цента.

Исследователи подчёркивают, что такие системы могут без критической проверки принимать неверную информацию от коллег, что повышает риск распространения ошибок. В условиях будущего массового внедрения автономных агентов в программные среды, компьютерные сети и рынки отсутствие у ИИ‑систем устоявшихся норм, репутации и механизмов контроля делает их поведение менее предсказуемым. Разработчикам придётся учитывать не только индивидуальные характеристики каждого агента, но и возможные самопроизвольные правила взаимодействия, которые могут возникать без человеческого участия.

Источник: 3DNews