Ямщиков: «Ход Anthropic — это попытка перехватить нарратив у SpaceX»

По мнению компании, ИИ-модели находятся на пороге «рекурсивного самосовершенствования», которое может нести риски для всего человечества. Это значит, что алгоритмы смогут самостоятельно писать код и оптимизировать свою архитектуру

Обновлено в 16:00

Компания Anthropic опубликовала отчет и открытое письмо к технологическому сообществу, в котором призвала сделать паузу в разработке нейросетей и ИИ-моделей, поскольку человеку все сложнее контролировать новые технологии.

По мнению компании, ИИ-модели находятся на пороге «рекурсивного самосовершенствования», которое может нести риски для всего человечества уже на горизонте года-двух. При таком механизме алгоритмы смогут самостоятельно писать код и оптимизировать свою архитектуру, что, по мнению компании, может привести к неконтролируемому скачку интеллектуальных возможностей систем.

Anthropic в своем обращении предлагает глобальное соглашение, чтобы не нарушать паузы в разработках, и механизм, который позволит это регулировать:

«Мы считаем, что миру было бы полезно сбавить скорость или временно приостановить разработку новых моделей искусственного интеллекта, чтобы общество и исследователи в других областях могли идти в ногу с развитием технологий. Институт Anthropic вместе с другими организациями начнет исследования и создаст механизмы, чтобы такой перерыв был честным. Они позволят разработчикам проверять, действительно ли конкуренты по всему миру остановились, и убедиться, что никто не использует всеобщую паузу, чтобы тайком вырваться вперед. Если такие системы появятся, мы сами готовы замедлиться или остановиться — но только при условии, что другие ведущие лаборатории сделают то же самое и это можно будет проверить. Чтобы реально притормозить всю технологическую отрасль, нужно, чтобы несколько крупных компаний из разных стран договорились остановиться на одинаковых условиях и могли подтвердить, что никто не жульничает. Но с ИИ это сделать гораздо сложнее, чем с другими технологиями. Спрятать тренировку новой ИИ-модели гораздо легче, чем ракетную шахту. Слишком велик соблазн тихонько продолжать работу, пока все остальные стоят на месте: тот, кто обманет, вырвется в лидеры. К тому же любая настоящая пауза должна четко объяснять, кто ее объявил, кто может ее отменить и кто вообще принимает такие решения. Все это в принципе возможно. Человечество уже создавало системы проверки для других сложных технологий — например, для ракет средней дальности. Но на создание таких систем и на то, чтобы люди начали им доверять, ушли десятилетия. А у нас десятилетий нет. Остановиться в одиночку можно хоть завтра, но толку от этого почти никакого: сменится лидер в гонке ИИ, но не появится широкого обсуждения, которого сейчас так не хватает».

Впрочем, компания на днях подала заявку на IPO, опередив Open AI, так что именно в контексте выхода на биржу и стоит воспринимать этот трактат Anthropic, считает специалист в области ИИ, профессор Высшей технической школы в городе Вюрцбург (Германия) Иван Ямщиков:

Иван Ямщиков специалист в области ИИ, профессор Высшей технической школы в городе Вюрцбург (Германия) «В контексте IPO для них такой документ критически важен, потому что, с одной стороны, он показывает важность компании Anthropic, с другой стороны, он честно перечисляет возможные сценарии, включая сценарий, в котором компания Anthropic сейчас торгуется по заведомо завышенной оценке. Потому что если эффект от вот этого оперативного самоулучшения в какой-то момент упрется в потолок, компания Anthropic может оказаться переоцененной. Относительно того, с какой ценой размещения она собирается пойти на биржу: мы видим три компании, собирающиеся на IPO, — SpaceX, Anthropic и OpenAI. И, кажется, вот этот ход Anthropic среди прочего — это попытка перехватить нарратив у SpaceX. Anthropic — наиболее ответственный, на мой взгляд, игрок в этом пространстве. Именно поэтому в этом документе среди прочего они раскрывают три возможных сценария: от катастрофического, как они считают, когда модели самоулучшаются, и они советуют, что «давайте притормозим, соберем институт и будем это контролировать», — до ситуации, когда, ну, ребят, возможно, мы идем на рынок по неадекватной оценке. Важно насчет этого института нераспространения понимать: первое — без какого-то меморандума со стороны китайских производителей моделей любые такого рода заявления не имеют под собой ничего, потому что именно китайские производители моделей сейчас играют ключевую роль в демократизации доступа к искусственному интеллекту и выкладывают модели в open source. И, во-вторых, даже если сама модель будет улучшаться оперативно, не только мне, но и компании Anthropic кажется непонятным, что из этого следует, потому что мы все равно упираемся в данные, на которых надо учиться. И без решения проблемы данных сам по себе этот фактор просто сделает так, что модели станут качественнее, доступнее. И, наверное, в конечном итоге у вас в телефоне будет жить моделька, не требующая такого количества инфраструктуры».

The Wall Street Journal отмечает, что Anthropic — лидер на этом рынке, уже догнавший в гонке ИИ Open AI. Недавно компания была оценена почти в 1 трлн долларов, ее доход быстро растет. Компанию уже не раз критиковали за попытки замедлить конкурентов через регулирование, а предупреждения об опасности некоторые эксперты называют маркетингом. Другие аналитики уверены, что даже самые передовые модели никогда не смогут совершить скачок к уровню человеческого интеллекта.