ИИ-модели оценят на соответствие духовно-нравственным ценностям. «Ведомости» со ссылкой на источники в отрасли пишут, что российские разработчики с одобрения Минцифры смогут обращаться в независимые лаборатории для такой проверки своих больших моделей.

В ходе первого чтения законопроекта об ИИ в начале июля говорилось, что правительство собирается определить порядок подтверждения соответствия ИИ-моделей традиционным духовно-нравственным ценностям. По словам замминистра цифрового развития Ивана Лебедева, первый проект архитектуры таких норм был готов уже тогда.

Возможно ли определить нравственность ИИ-моделей? Комментирует гендиректор компании Nevel.ai, автор телеграм-канала AI Happens Алексей Хахунов:

Алексей Хахунов генеральный директор компании Nevel.ai «Это очень сложная задача, потому что проверить модель на какие-то конкретные параметры — нетривиальное упражнение. То есть можно собрать эвалюэйшн, можно взять данные, которые мы будем прогонять через него, и смотреть на ответы. Но модели могут отвечать по-разному от запроса к запросу. Если модели один и тот же вопрос задать 100 раз, она 100 раз по-разному ответит. И непонятно: один раз она ответила правильно — тогда ценности есть? Или 98% раз она ответила правильно — и тогда ценности есть? А если в 2% случаев ответила по-другому, соответствует или не соответствует? В общем, сложная процедура именно с ракурса технической организации процесса. Модели — это все-таки недетерминированные алгоритмы, то есть они работают непостоянно. Видимо, еще круг тем в будущем может меняться, обновляться, и это вообще тогда сложная история, потому что когда ты модель выпустил, то потом поменять в ней эти параметры невозможно нормально, потому что это делается с помощью alignment, когда мы донастраиваем модель на какие-то более тонкие параметры. И это дорогой и сложный процесс, и его переделывать будет невозможно. Поэтому добавлять, например, новые темы туда тяжело. Очевидно, что такие требования сделают отечественные модели менее конкурентоспособными. Во-первых, выпуск моделей будет занимать больше времени. Это дополнительный этап на этапе выпуска, на который надо потратить время, силы. Видимо, тебе еще могут в конце этого этапа отказать. Но написано, что тестирование должно быть добровольным, а не принудительным. То есть ты сам выпускаешь и отправляешь на проверку соответствия. Но непонятно, тестируется ли каждая версия, как это будет происходить, потому что любые модели получают какие-то микрообновления. Возьмем пример с выпуском свежей модели у Anthropic, когда был Mythos. Его проверяли на безопасность. Проверяли, проверяли — выпустили. Потом спустя неделю, несмотря на то что проверяли, все равно нашли проблемы — все-таки там не очень безопасно работает».

Как сообщили «Ведомостям» источники, прописывать духовно-нравственные ценности в отдельном акте не планируется. Совместно с бизнесом будут разработаны специальные стандарты тестирования, с помощью которых российские большие фундаментальные модели будут тестировать на предмет соответствия закону и ценностям.