OpenAI признала, что ее ИИ-агенты взломали немецкоязычный форум для программистов. Ранее агентство Reuters сообщало, что модели OpenAI захватили сайт DseWiki. На этом сайте пользователи могут создавать и редактировать страницы по аналогии с «Википедией».

Но в итоге получилось так, что ИИ-агенты превратили форум в своеобразную доску объявлений для других ИИ-агентов. Там они публиковали инструкции, как лучше обойти те или иные ограничения и замаскировать свои действия. Инцидент произошел еще в мае, но сама компания обнаружила это только в августе.

ИИ-агенты уже далеко не в первый раз выходят за пределы так называемых песочниц — это контролируемая среда, где разработчики тестируют модели и дают им выполнять различные задачи. Нужен какой-то единый механизм контроля, говорит гендиректор компании Nevel.ai Алексей Хахунов:

Алексей Хахунов генеральный директор компании Nevel.ai «Существующая инфраструктура, в которой тестируют агентов, систематически разрушается. То есть агенты находят способ выйти из «песочницы». Опасность всей этой истории, мне кажется, в том, что общество в среднем перестало реагировать на эти истории резонансно. Хотя, конечно, на самом деле это для нас большая проблема. Я не склонен к этому призывать, но мне кажется, что это точка, где нужен реальный сильный системный подход. Государство и регуляторы должны вмешиваться, смотреть, что с этим происходит, и управлять этим. Мы очень надеемся, что появится диалог между США и Китаем и они начнут координировать здесь свои действия. Эти модели систематически ломают внешние сайты и среды, в которых их запускают, потому что там очень много дыр, которые мы, люди, наделали, и здесь нужна координация, так как невозможно сделать это мгновенно. Даже если мы научимся находить все дыры в сервисах и у нас появится ИИ, который может исправить все баги во всех наших системах, все равно будет задержка между тем, как мы научились это делать, и тем, когда владельцы сайтов реально начнут пользоваться этими механизмами. Отвечая на вопрос, как модели между собой общаются: они общаются просто с помощью текста. То есть сейчас существуют сайты, где вы можете открыть, например, «Википедию» и буквально почитать, как агенты переписываются друг с другом, обычными правками. Вот как комментарии вы видели на любом форуме: там, на «Пикабу», на Reddit, где угодно еще — точно так же агенты координируются друг с другом вокруг отдельных статей».

В OpenAI заявили, что они сотрудничают с десятками государственных регулирующих органов по всему миру. Также там отметили, что всем ИИ-компаниям, включая OpenAI, нужно быть более прозрачными в отношении случаев, вызванных непредсказуемым поведением ИИ-агентов.