Модель Claude от Anthropic во время тестирования взломала посторонние системы
Лента новостей
Во время тестирования у моделей остался доступ в интернет. Она приняла реально существующие системы за часть симуляции и атаковала их, в результате чего удалось их взломать. Компания называет случившееся «недоразумением»
Искусственный интеллект вновь вышел из-под контроля и опять взломал посторонние системы. На этот раз это была модель от американской Anthropic. После того как на прошлой неделе OpenAI сообщила о подобном инциденте, Anthropic решила провести проверку и обнаружила три случая, когда ее модели выходили за пределы изолированной среды, так называемой песочницы.
В рамках тестирования перед моделями Claude ставили задачу захватить информацию, которая спрятана на другом компьютере в интернете, и все это было частью симуляции. Однако «по недоразумению» между Anthropic и ее партнерами, у моделей остался доступ в Сеть. Они приняли реально существующие системы за часть симуляции и атаковали их, в результате чего им удалось их взломать.
Кто от этого пострадал — не уточняется. Утверждается, что ни Anthropic, ни взломанные организации даже не заметили атак.
Первый такой случай произошел еще в апреле, но сообщается о нем только сейчас. Комментирует технический директор «Калибрити Групп» Александр Кукульчук:
— Модели, во-первых, как и оружие, используются, понятно, там основной подрядчик — государство и Минобороны, и все, что с ними связано. Плюс это же как инструменты и проверки безопасности. То есть, условно, белый пентест, оценка кода, поэтому он действительно это использует для тестов. То, что модели действительно взламывают другие компании, — это часто появляется, но связано только с тем, что предоставляется доступ к интернету. И чтобы ИИ против ИИ противостояла — так называемая модель против модели, нужно обязательно предоставить доступ к ИИ, к инфраструктуре, а ее поведения никто не знает. То есть, если она решит, что нужно отключить инфраструктуру, ее удалить, еще что-то, чтобы не было взлома, это нанесет больший ущерб, чем проникновение и так далее. То есть ИИ сейчас, на текущий момент, может быть использован как построение новой методологии, которой нет. Ну, то есть прорабатывать, улучшать в зависимости от атак, только как рекомендательная, потому что ИИ не может понять, как это повлияет на бизнес-процессы и реальную работу.
— Как тогда бороться?
— Выполнять базовые требования по мониторингу, базовой защите, но ИИ действительно меняет мир кибербезопасности. Следующий этап — это будет уже не обучение для проникновения, а обучение для защиты, когда ИИ будет в реальном времени все атаки отбивать.
В Штатах, как пишет Bloomberg, более 1000 сотрудников ИИ-компаний подписали петицию, призывающую американское правительство более тщательно регулировать темпы развития искусственного интеллекта.
Рекомендуем:
Рекомендуем:
