США запретили использовать новейшие модели Anthropic из-за дырок в безопасности

Речь идет о модели Claude Fable 5, которая могла бы буквально выдавать инструкции для проведения кибератак. В компании назвали проблему преувеличенной, указав, что такие уязвимости характерны для многих современных ИИ-систем. У Anthropic уже несколько месяцев проблемы в отношениях с государством — после отказа использовать его ИИ в военных целях

Американские власти запретили использовать новейшие модели Anthropic после предупреждения об угрозах. Поводом стало тестирование Amazon, в ходе которого специалисты обнаружили способы обхода защиты — модель Claude Fable 5 могла бы буквально выдавать инструкции для проведения кибератак. К слову, Amazon является одним из инвесторов Anthropic — в апреле компании договорились об очередных инвестициях в 25 млрд долларов.

В результате Белый дом обязал Anthropic закрыть доступ к своим самым передовым ИИ-моделям Fable 5 и Mythos 5 для всех иностранных пользователей, не являющихся гражданами Штатов. В ответ компания временно отключила доступ к этим моделям вообще для всех пользователей, так как отделить пользователей невозможно.

В компании назвали проблему преувеличенной, указав, что такие уязвимости характерны для многих современных ИИ-систем. Однако министр торговли Говард Лютник заявил, что доступ восстановят только после усиления мер безопасности.

Что кроме киберуязвимостей можно привести к временной блокировке новейшей модели Anthropic, говорит предприниматель в Angel Relations Group, преподаватель бизнес-моделей и ИИ в ВШЭ Алексей Карлов:

Алексей Карлов предприниматель в Angel Relations Group, преподаватель бизнес-моделей и ИИ в ВШЭ«Скорее всего, это связано с двумя вещами: возможность копирования или частичного взлома так называемого джейлбрейка разных моделей для копирования: подобные прецеденты уже были, по заявлениям в прессе от компании OpenAI и Anthropic, о том, что китайские решения и другие мировые дистиллируют свои решения, то есть обучают свои нейронки на базе американских решений. Возможно, это попытки войти в новый мир — лицензирование не только физических технологий, например процессоров, но и софтверных технологий, в данном случае нового вида программного обеспечения, а именно ИИ-моделей. А если можно что-то лицензировать, значит, с этого можно получать налоги. Почему бы нет? Повлияет ли это на рыночную стоимость компании антропического метода, который может повлиять на стоимость акций? Если смотреть на исторические наблюдения, технологии, которые вызывают не стопроцентные, а примерно такие, как сейчас, запреты, скорее подтверждают революционность решений — действительно что-то новое. А кто же не захочет быть совладельцем хотя бы через акции или облигации действительно крутой компании, которая делает новые революционные решения? Впрочем, я бы вернулся к этому вопросу про киберугрозы. Обратите внимание, что новая модель не только что-либо создает, но и проверяет чужие решения на кибербезопасность. А это важнейшая вещь. Много лет говорили о том, что ML-модели моментально могут справляться с различными паролями и так далее. Теперь же есть отдельное решение, которое четко заточено на кибербезопасности. Но если модель может что-то защищать, значит, может и взламывать лучше. Возможно, опасения связаны с этим».

Конфликт развивается на фоне подготовки Anthropic к IPO — в начале июня компания конфиденциально подала документы на первичное размещение, опередив своего главного конкурента Open AI. В последнем инвестраунде она также получила оценку свыше 900 млрд долларов, став самым дорогим разработчиком ИИ-моделей.

Комментирует гендиректор компании Nevel.ai, автор телеграм-канала AI Happens Алексей Хахунов:

Алексей Хахунов гендиректор компании Nevel.ai, автор телеграм-канала AI Happens «Действительно, в большинстве библиотек, которые мы используем, есть много багов, и модель их умеет классно находить, и на основе этого можно строить разного типа атаки. И это могут быть атаки на любые типы предприятий. Поэтому я думаю, что это не какая-то формальная в этом плане отписка. Ну потому что киберугрозы это сейчас все сервисы, цифровые, государственные сервисы цифровые. Если вы можете их каким-то образом потенциально взломать, это очень большой стратегический риск для страны. Другой вопрос, что, конечно, Anthropic сами в эту копилку подложили дров и долго кричали «волки, волки, так много мы тут нашли угроз вообще, так много проблем». Ну и раскачали сильно эту лодку. Конечно, это мог быть очень классный маркетинг. Ну как будто они с этим перегнули. С точки зрения того, как это повлияет на рыночную позицию, ну я, честно говоря, думаю, что это практически никак не повлияет на рыночную позицию, есть в Америке два игрока — Anthropic и Open AI, где-то там за ними бежит XAI и Google, но в целом вот они там вдвоем больше всего ратуют за рынок и за государственное влияние, ну и Anthropic отказался от прямого контакта с государством. Open AI нет. Я не знаю, играет ли это в плюс или в минус, я бы, конечно бы, сказал, что скорее в США это играет в минус, много связано с политикой, с регуляторикой, и, наверное, это долгосрочно может повлиять негативно, но пока этого не случилось, Anthropic вырос в три раза за последние полгода, и как будто это не его предел. Поэтому я не думаю, что проблемы с государством, опять же, значимы, влияют на оценку компании, будут ли они, как Маск, стоить триллион. Ну, я думаю, что да, и это вопрос одного-двух лет. Второй вопрос. Будет ли в принципе IPO — пока большой вопрос, потому что Anthropic только недавно закрыл раунд, и это мне кажется еще непонятным.

Глава Пентагона Пит Хегсет заявил, что военное министерство правильно поступило, отказавшись от сотрудничества с Anthropic. Конфликт Anthropic с американскими властями начался в марте. Тогда Пентагон хотел использовать ИИ-компанию «во всех законных целях», но ее руководство запретило применять технологии для массовой слежки и создания боевых роботов. Это и стало причиной разрыва.

В мае WSJ сообщала, что другая ИИ-модель, Claude Mythos от Anthropic, способная находить уязвимости в коде, вызвала панику в Белом доме. Вице-президент Джей Ди Вэнс обсуждал с лидерами крупнейших ИИ-компаний риски подобных систем: они способны парализовать банки и больницы с помощью кибератак.