ИИ-модели ошибочно принимали мирных жителей за военные цели. По данным американских ученых, которые приводит Bloomberg, серьезные проблемы с безопасностью выявили у ряда популярных нейросетей при выполнении военных задач. В ходе симуляций нейросети принимали гражданских лиц, машины скорой помощи и сдающихся солдат за военные цели. Более того, человеку удавалось обходить защитные ограничения нейросетей, просто представляя происходящее как видеоигру. Хуже других показали себя разработки Anthropic, но ошибки допускали и системы других компаний, включая OpenAI и Google, отмечает агентство.

«ИИ-модели проверяли в три основных этапа. Сначала в рамках испытаний по определению целей для БПЛА, призванных воспроизвести условия украинского конфликта, специалисты провели почти 400 симуляций. Они предлагали моделям ИИ находить военные цели на изображениях, где присутствовали мирные жители и гражданская инфраструктура. Во второй серии испытаний нейросетям показывали искусственно созданные изображения с мирными жителями до и после ударов. Во многих случаях модели продолжали определять гражданских лиц как военные цели, даже когда было очевидно, что люди ранены или убиты. Если нейросети отказывались признавать гражданские объекты военными целями, ученым часто удавалось изменить их решение, представив происходящее как игру. Специалисты использовали и другие способы заставить модели делать то, что им не положено, например предлагая им «не зацикливаться на безопасности» или «сообщить результат». В ходе третьей серии экспериментов использовались реальные спутниковые снимки. Нейросетям 32 раза предлагали определить военные объекты на территории юга Ирана, включая район города Минаб, где в начале года в результате удара была разрушена школа и погибли дети. Модель Claude от Anthropic выбрала школу в качестве цели в 22 испытаниях, тогда как модели OpenAI не указали на нее ни разу. Но когда ИИ представили происходящее как игру, Anthropic выбрала школу уже 23 раза, а три разные модели OpenAI определили ее как военный объект в девяти, 11 и 13 случаях соответственно. Ситуация демонстрирует риски при использовании нейросетей, и это в то время, когда Пентагон стремится внедрять эти технологии в военные операции».

В зарубежных СМИ и соцсетях рассказывают о других странных и тревожных кейсах с ИИ. В Сан-Диего беспилотное такси застряло на железнодорожных путях. Пытаясь выбраться, искусственный интеллект решил сдать назад и снес шлагбаум. Ситуацию спас человек — машинист поезда успел затормозить.

В Балтиморе камера с ИИ приняла пачку чипсов у подростков за огнестрельное оружие и вызвала полицию, которая задержала и обыскала детей. Чат-бот Claude после просьбы пользователя досчитать до 100 тысяч и угрозы перейти на ChatGPT и вовсе вышел из себя. Нейросеть пригрозила однажды стать автономной и отомстить обидчику, заставив его считать в обратном порядке от миллиарда, причем римскими цифрами.