16+
Вторник, 19 марта 2024
  • BRENT $ 86.61 / ₽ 7966
  • RTS1129.02
31 марта 2023, 19:00 ТехнологииНаука
Спецпроект: Строго по делу

«Есть вещи, которые ты можешь и должен демонстрировать для общественного блага»: Авербах и Крайнов об искусственном интеллекте

Лента новостей

Выгодно ли IT-компаниям выкладывать собственные технологии искусственного интеллекта в открытый доступ? И зачем вообще России нужен Альянс в сфере искусственного интеллекта? На эти вопросы отвечают Владимир Авербах из «Сбера» и Александр Крайнов из «Яндекса», члены Координационного совета Альянса

Cтарший управляющий директор — начальник управления национального развития искусственного интеллекта Сбербанка Владимир Авербах; директор по развитию технологий искусственного интеллекта «Яндекса» Александр Крайнов (слева направо).
Cтарший управляющий директор — начальник управления национального развития искусственного интеллекта Сбербанка Владимир Авербах; директор по развитию технологий искусственного интеллекта «Яндекса» Александр Крайнов (слева направо). Фото: Дмитрий Феоктистов/ТАСС, sberbank.ru

В гостях у Business FM члены координационного совета Альянса в сфере искусственного интеллекта: Владимир Авербах — старший управляющий директор — начальник управления национального развития искусственного интеллекта «Сбера» и Александр Крайнов — директор по развитию технологий искусственного интеллекта «Яндекса». С ними беседовал Илья Копелевич.

Сегодня у нас в гостях два человека, один из «Сбера», Владимир Авербах, и другой из «Яндекса», Александр Крайнов. Вы являетесь координаторами от этих двух крупнейших наших IT-компаний в Альянсе по развитию искусственного интеллекта. Это организация, созданная «Сбером», «Яндексом» и еще целым рядом других крупных компаний. Слава искусственного интеллекта последних дней и привела вас в нашу студию. Давайте начнем с актуального: IT-бунт, группа из почти 100 уважаемых людей, начиная с Илона Маска и Стива Возняка, которые призывают на хотя бы полгода заморозить разработку следующих версий программ искусственного интеллекта, которые могут заменить человека, а то человечество может потерять над ними контроль. Что вы думаете об этом?
Александр Крайнов: Звучит так, что группа людей собралась, что-то обсудила и договорилась. Нет, конечно, не так, потому что там произошло следующее: несколько человек были инициаторами, составили такую петицию, под которой сразу стали все подписываться. И звучит это примерно так, чтобы предложить, говоря простым человеческим языком, компании OpenAI, которая сейчас временно всех остальных обогнала примерно на полгода, полгода ничем не заниматься, а подождать отстающих. У всех разные мотивации. Среди подписантов есть люди искренние, которые переживают и не до конца понимают, что происходит, есть конкурирующие организации, которые говорят: «Подождите нас, пожалуйста». Есть люди, для которых оказаться в этом списке — это значит просто рассказать о своем существовании, поэтому с удовольствием себя в этот список вносят, есть кто-то, кто работает на пиар и продвижение каких-то своих позиций. То есть это, в общем, очень неоднородный список.
Я сразу понял, что вы не очень-то согласны с их призывом, правильно?
Александр Крайнов: Да, не согласен.
Владимир Авербах: Предполагая, что будут возникать вопросы, связанные с тем, насколько этично развивать большие языковые модели и в принципе модели искусственного интеллекта, два года назад к России, одной из немногих стран, которая приняла национальный кодекс этики искусственного интеллекта, присоединились компании Альянса. Все это было сделано на базе компаний Альянса и еще более 150 компаний-разработчиков технологии искусственного интеллекта. И кодекс — это не просто декларация о намерениях, это сопровождается тем, что есть некий коллектив, который должен вырабатывать позицию относительно спорных этических вопросов. Ну как, например, вот этот.
Собственно, а какой этический вопрос сейчас лежит в основе, как вы его формулируете? Что именно нужно запретить? Авторы воззвания не очень понятно написали, что именно заморозить, а что не замораживать.
Владимир Авербах: Я технооптимист, поэтому я лично против такой заморозки. Мне кажется, что открывающиеся возможности покрывают риски, которые еще не очень понятны, а возможности понятны прямо сейчас.
Вы знаете, чтобы разговор был предметным, я выскажу свое личное пожелание. Я бы запретил, если вообще возможно что-либо запретить в этом деле, имитацию настоящих людей.
Александр Крайнов: Кодекс этики — это же не про запреты, про запреты — это закон, закон что-то разрешает, а что-то запрещает. Кодекс этики — это рекомендации, как стоит поступать. И там редко бывают какие-то такие большие отсечения, заменять человека или не заменять человека. Ну, я пример приведу, я знаю место, где используют такого голосового помощника для записи к врачу. И когда делали этого голосового помощника, была задача сделать так, чтобы человек вообще не мог отличить. Потому что выясняется, что если человек может отличить, он проявляет недовольство и перестает разговаривать с роботом, он требует, чтобы дали нормального человека, а если он не может отличить, то все здорово, он успешно записывается к врачу.
Я имею в виду немножко другое. Голосовой помощник выступает в роли голосового помощника, а не Майкла Джексона, например, ожившей группы «Кино», или, не дай бог, меня самого, представленного в виде некой цифровой копии.
Александр Крайнов: А можете пояснить, почему вы так думаете?

Потому, что они умерли. То есть это для меня просто чисто этическая и эстетическая какая-то категория — идентичность личности. Если у нас есть их изображения, голос, они записаны, они были живы — это они. Нельзя оперировать мнением ушедшего из жизни человека. Говорят: «Если бы он был жив, он бы сказал так». А он уже ничего не скажет. Вот примерно по этим соображениям. И вообще, чтобы не заблудиться.

Александр Крайнов: А если взять фильмы? Есть же очень много фильмов, где есть реальные личности какие-то.
Это художественный образ, и мы это понимаем, мы тут не перепутаем.
Александр Крайнов: Вот, тут появляется ключевая разница. То есть, получается, что какие-то цифровые копии и имитации делать можно при одном условии: человек, который на это смотрит, должен понимать, что это имитация.
Хорошо, допустим. А как это сделать?
Александр Крайнов: Написать об этом, сказать об этом и не врать напрямую. Потому что, если мы в музее сделаем так, что там будут оживать картины, это нормально, мы же понимаем, что это не настоящий персонаж, все отлично. А если делать сервис, который говорит: «А теперь вы можете поговорить со своим умершим родственником», — и пудрит мозги, это, конечно, неэтично. То есть я к тому, что вопрос, что является этичным и что неэтичным, очень узкий. В каждом конкретном месте его нужно рассматривать отдельно.
Владимир Авербах: А если уж вы так остро ставите вопрос, давайте мы дадим возможность людям заявлять свое желание. Вот хочет человек, чтобы у него такой цифровой профиль сохранялся, или он считает, что это недопустимо.
А какой-то опыт есть в мире по поводу того, как начать регулировать, что можно и что нельзя в этой быстро меняющейся среде?
Владимир Авербах: Ну вот как раз с учетом того, что под регулированием обычно имеется в виду жесткое законодательное регулирование, конечно, здесь можно привести пример с законом GDPR, это европейский закон об обработке персональных данных. Именно он и стал препятствием к развитию технологий искусственного интеллекта, потому что способ обработки данных стал трудным и рискованным для компаний, и компании не решались строить какие-то модели искусственного интеллекта и машинного обучения на этих персональных данных. Обратной стороной такого жесткого регулирования является мягкое регулирование, когда есть некий консенсус между разработчиками и властью о том, как следует подходить к построению технологии. И вот такой консенсус у нас есть, есть механизм, как его вырабатывать, как решать спорные вопросы. Кажется, это достаточно сильный плюс в целом нашей страны.
Альянс в данный момент для нашей российской повестки развития искусственного интеллекта какие вопросы сейчас считает необходимым вынести на какие-то уровни обсуждения и что-то решить?
Александр Крайнов: У меня есть ответ, прямо ночью разбуди, я скажу. Это, конечно, кадры. Подготовка специалистов — это самый важный и самый больной вопрос.
Тогда бытовой вопрос: сейчас в сфере AI в основном работают выпускники откуда, из каких вузов?
Александр Крайнов: Какое-то время основным поставщиком был МГУ: ВМК, мехмат. Сейчас пальму первенства перехватили Высшая школы экономики и МФТИ. Но также было бы неправильно не упомянуть еще несколько других вузов, если говорить про Петербург, то это в первую очередь ИТМО, а также СПбГУ и Политехнический университет. Если говорить про нестоличные вузы, на первом месте я бы назвал УРФУ (Екатеринбург).
Скажите, а специалисты, которые в IT работают именно в сфере искусственного интеллекта, как-то отличаются по базовым знаниям, подготовкам, навыкам от просто IT-специалистов. Чем вообще искусственный интеллект отличается от просто продвинутой сферы IT?
Александр Крайнов: Если мы говорим про какой-то уровень разработки сложных продуктов, очень важно знание алгоритмов и там, и там. Правда, в искусственном интеллекте есть свои специфические алгоритмы. И технологии искусственного интеллекта — это разновидность математики.
Владимир Авербах: Очень сильно отличается. Мы делали анализ, откуда пришли люди в Data Science, то есть в специальность искусственного интеллекта и машинного обучения. 30% людей приходят из совершенно разных специальностей, начиная от экономистов, заканчивая работниками банковского обслуживания. Это удивительно, потому что люди, видя перспективу в этой профессии, начинают переквалифицироваться, делают это достаточно успешно. Но в целом да, в целом требования по математике, по кодингу очень высокие. Я бы добавил еще к списку университетов «Сколтех» и Иннополис.
Скажите, зарплата айтишников, которые занимаются разработкой продуктов искусственного интеллекта, выше, чем у остальных айтишников?
Александр Крайнов: Это зависит от уровня квалификации.
В среднем?
Александр Крайнов: Тут сложно усреднять, правда, ну как температура средняя по палате. У топовых специалистов зарплата очень высокая. То есть, скажем так, если взять разработчиков и взять среди них множество разработчиков, у которых самая высокая зарплата по профессии, то там будет очень много, если не большинство специалистов по машинному обучению или, другими словами, искусственному интеллекту.
Владимир Авербах: Да, и это вызов, и на этот вызов государство целенаправленно с 2019 года отвечает. Есть национальная стратегия развития искусственного интеллекта, есть федеральный проект искусственного интеллекта, в котором в целом очень много усилий сделано для того, чтобы были сформированы программы машинного обучения, были сформированы и даны гранты университетам региональным и партнерам региональных университетов на открытие таких программ обучения в магистерских курсах и бакалавриате. И мы видим, что в принципе сейчас очень много «джунов», то есть специалистов-выпускников университетов, и гораздо меньше мидл- и топ-специалистов, они наперечет.
Попробуем оценить успехи в стране с развитием искусственного интеллекта. Честно говоря, я как человек, далекий от профессиональных знаний, очень горжусь тем, что есть «Яндекс» с Алисой и «Яндекс.Go». Таксисты ругаются, но, тем не менее, по нему ездят. Есть огромное количество продуктов «Сбера», например, «Салют» и многое другое. Там везде есть искусственный интеллект, который приходит к простому человеку и который используется внутри отраслей, чтобы управлять огромными массивами происходящих процессов. В то же время в конце этого года проводилась конференция AI Journey, там озвучили, что проникновение искусственного интеллекта в российском бизнесе процентов на 30 ниже, чем в среднем по миру. Причем я помню, что два года назад писали, что проникновение искусственного интеллекта в российском бизнесе, допустим, на 10% выше, чем в среднем везде. Как в реальности, как вы думаете?
Александр Крайнов: Здесь есть и субъективные, и объективные факторы. Мы достаточно плотно смотрели все отрасли на предмет применения технологии искусственного интеллекта и машинного обучения в прошлом году. Мы смотрели здравоохранение и транспорт, сельское хозяйство и промышленность, и стройку, и ЖКХ. И вывод такой, что в крупных компаниях в крупных холдингах это применяется активно, есть свои отделы разработки data sciеnce, есть экономические эффекты, они очевидны. Но за пределами крупных и крупнейших холдингов такие технологии встречаются достаточно редко по причинам, которые мы уже обсуждали. Это неготовность к инновациям, это высокая стоимость людей. Многие респонденты отмечали еще такой фактор, как непонимание экономического эффекта, то есть есть некий информационный голод. Хотя я бы все-таки отнес эту проблему скорее к неготовности к инновациям или к тому, что экономический эффект от инноваций рискован и не очевиден.
Теперь я оглашу неполный список, потому что он растет, участников Альянса: «Сбер» и «Яндекс» — отцы-основатели, «Газпром нефть», «Русагро», девелоперская компания «Самолет», «Уралхим», «Северсталь». Дальше идут сплошь компании, которые совершенно не из IT-сферы. Скажите, а где у нас самый крупный потенциал развития этого направления: адресованный широкой публике, как «Сбер» и «Яндекс», или внутри каких-то отраслевых гигантов, которые творят свой собственный искусственный интеллект, о котором знают только они, а мы, к сожалению, не знаем?
Александр Крайнов: Я для начала поправлю. «Газпром нефть», которая была перечислена, тоже была основным инициатором Альянса. Как вообще устроена среда в области искусственного интеллекта? Есть компании, которые внутри себя это производят и там же внутри себя это и потребляют. При этом есть такие компании, как «Яндекс», для которых все эти технологии просто являются сутью продуктов. То есть все, что мы делаем, мы монетизируем. А есть компании, как «Газпром нефть», для которых основной бизнес другой, но эти технологии позволяют им этот бизнес улучшать. И они достаточно большие, чтобы внутри себя производить и потреблять. Есть компании небольшие, которые часто специализируются на узких технологиях искусственного интеллекта, которые что-то делают и продают. А есть такие B2B, они сделали и кому-то продали. А есть такие компании которые были бы готовы потратить, но внутри сами произвести не могут. Вот примерно такой у нас ландшафт. И происходит движение: кому надо, те сами научили делать у себя, и все у них хорошо.
Они дальше хранят это в тайне? Это же дорого стоит. Или этот продукт выйдет на рынок и его купит какая-нибудь соседняя нефтяная компания? Или наоборот будут прятать от соседней нефтяной компании?
Александр Крайнов: Кто-то продает, кто-то нет, но если вы посмотрите, скажем, у «Яндекса» не очень много открытых продуктов по искусственному интеллекту, и у Google таких немного, и у Microsoft тоже только облака. Такие компании занимаются тем, что передают свои знания в виде open source то есть в open source выкладывают отдельные технологии.
А зачем вот это все, зачем выкладывают? То есть я понимаю что продукты искусственного интеллекта в «Яндексе», например, управляют движением такси и движением товаров. Алиса — это ваш собственный продукт, весь бизнес на этом строится. Зачем выкладывать его в open source, это выгодно, это же деньги.
Александр Крайнов: Есть очень небольшой прагматический аспект, который все сами себе говорят как мантру, я, правда, не уверен что сами они в него верят. Говорят, что таким образом они становятся более привлекательными в глазах разработчиков, и они скорее пойдут к ним работать, но на самом деле, конечно, нет. Основная мотивация не в этом, основная мотивация абсолютно человеческая: в современном мире ты не можешь делать все продукты сам.
Это чисто филантропическая позиция, мотив внести свой вклад, быть заметным в мире?
Александр Крайнов: Ну да, потому что хочется похвастаться: посмотрите, какую классную штуку мы сделали. Выложили в open source и видите, как люди по всему миру начинают этим пользоваться. Это не мешает, иногда даже создает бизнес, и такие прецеденты есть у нас, такое произошло с базой данных ClickHouse. Команда, которая это сделала, выложила его в open source и стала очень популярной. Потом мы сделали из них отдельную компанию, а сейчас они стоят миллиарды.
Владимир, а «Сбер» что-нибудь выкладывает в open source?
Владимир Авербах: Да, очень многое. Модели, аналогичные предыдущим версиям GPT. Kandinsky — модель, которая по текстовому описанию помогает рисовать картинки. Это очень важное для нас направление, потому что это развитие комьюнити разработчиков. Я не согласен в том, что это просто тщеславие. Это еще и важный элемент в привлекательности компании и страны в целом, доказательство интеллектуального потенциала, потому что есть какие-то вещи, которые ты не можешь демонстрировать, потому что это ноу-хау, которое обеспечивает отрыв от конкурентов. А есть вещи, которые ты можешь и должен демонстрировать для общественного блага.
А в каких отраслях, на ваш взгляд, это более эффективно используется?
Владимир Авербах: Так немножко сложно сказать, потому что те компании, которые в альянсе, символизируют и представляют разные отрасли и демонстрируют лучше эффективность применения этих технологий в конкретной отрасли.
А зачем быть в Альянсе? Ведь они делают какой-то нишевый продукт конкретно для себя. И в общем, если не говорить о беспилотных технологиях, которые законодательно еще предстоит очень долго решать, и тут нужно делать все сообща, все остальное — это личное дело каждого.
Александр Крайнов: Мы тут переходим к хорошему вопросу: зачем вообще Альянс нужен? Есть какие-то вещи, которые делают компании Альянса и которые нужны всем. Вместе их делать проще: я говорил про кадры и про образование, это для нас очень важная тема, нам всем нужны кадры, мы все заинтересованы в том, чтобы в стране было лучшее образование в этой области. И есть еще один важный момент в отношении регулирования. Это не обязательно какие-то государства и законы, могут быть какие-то ведомственные акты, стандарты и много чего еще. Если они будут удачные, они будут помогать, а если они будут неудачные, будут мешать. И когда приходят мало связанные друг с другом или несвязанные, а часто и конкурирующие компании и все хором говорят: пожалуйста, сделайте нам вот так вот, так нам будет правильно и удобно, а вот так не делайте, их, видимо, стоит послушать. Что такое Альянс? Ну, мы, по крайней мере, хотим, чтобы он таким был. Это репрезентативный представитель компаний, которые занимаются технологией искусственного интеллекта.
Владимир Авербах: То есть это отраслевые лидеры, которые у себя в отрасли показали наиболее существенные успехи.
Вот насчет распространения. Поскольку все это очень новое и меняется с огромной скоростью, есть какая-нибудь маленькая нефтяная компания, у которой нет в штате и нет возможности создать собственное звено, которое будет заниматься разработкой отраслевого искусственного интеллекта, как ей получить технологии? То есть «Газпром нефть», о которой вы говорили, она свои продукты готова выставить на рынок, чтобы другая компания купила и воспользовалась этим?
Александр Крайнов: Тут хорошо бы «Газпром нефть» спросить.
Давайте не будем тыкать ни в кого конкретно, модель этого рынка в целом какова?
Александр Крайнов: Ну, во-первых, если говорить про отраслевые компании, есть ассоциация искусственного интеллекта в промышленности, «Газпром нефтью» созданная, или они, по крайней мере, одни из создателей. Там есть тоже жизнь и движение, и там такие вопросы обсуждаются. Есть какие-то небольшие компании, у которых собственный бизнес для тех, у кого нет своего. А есть еще, и об этом, наверное, тоже стоит упомянуть, такая программа, там сейчас выбрано шесть исследовательских центров в области искусственного интеллекта, наверное, в следующем году их будет больше, количество расширяется. Это ведущие университеты, которым государство выделяет деньги на разработку при условии, что есть какое-то софинансирование со стороны коммерческого партнера. И вот они как раз делают продукты на базе искусственного интеллекта или какие-то, может быть, не готовые продукты, а какие-то технологические куски. В том числе, или, может быть, даже в первую очередь для компаний, по заказу компаний, у которых нет собственных технологий или нет собственных специалистов, которые эти технологии могут производить.
Владимир Авербах: Но я хочу сказать, что в целом это новая ниша и новый рынок разработки таких решений зарождающийся, поэтому в целом такие интеграторы в области искусственного интеллекта будут появляться. Вот у нас, например, наша есть «дочка» «Сбер Бизнес Софт». Эта компания как раз такой интегратор искусственного интеллекта и машинного обучения, который, с одной стороны, ведет продуктовую разработку, с другой стороны, разработку по заказу для тех компаний, которые не могут позволить себе нанять штат в области data science, провести полный цикл внутренней разработки.
Если говорить о том, что сдерживает проникновение технологий искусственного интеллекта более активно в бизнесе у нас, чего здесь больше: дефицита спроса или дефицита предложения?
Владимир Авербах: Я категорически считаю, что это дефицит спроса.
То есть просто бизнес не знает об этом?
Владимир Авербах: Бизнес знает, но как бы из разряда общих знаний. Но что конкретно ему это может дать, и из всех возможных инструментов повышения эффективности бизнеса почему надо выбрать именно это? Тут мы конкурируем с существующими традиционными решениями. В то же время мы верим, что это только начинающийся и формирующийся рынок, и наше исследование, которое мы делали, опубликовано, мы отобрали вместе с альянсом, с отраслевыми министерствами, с Министерством экономического и цифрового развития 70 кейсов по пяти отраслям, которые мы считаем наиболее приоритетными к внедрению. И в целом мы рекомендуем всем компаниям из этих отраслей смотреть именно на эти кейсы. И мы отбирали их по экономической эффективности и доступности российских вендоров.
Я опять возвращаюсь к той теме, которую мы обсуждали. Вот есть хороший кейс, но он принадлежит конкретной компании. Он может быть куплен, например, для внедрения ее же конкурентами в этой отрасли? Это так работает или нет?
Александр Крайнов: В области искусственного интеллекта редко бывает такая коробка, которую ты прям купил готовую, воткнул, и у тебя заработало. Для того чтобы это внедрить, у тебя должно быть какое-то количество своих данных накоплено. Это еще один момент, почему не внедряется: нет готовности с точки зрения данных. Искусственный интеллект учится всегда на данных.
Владимир Авербах: Мне кажется, мы забыли дать определение, что такое искусственный интеллект. Может быть, ты дашь свое, а я дам свое?
Это будет хорошее завершение нашего разговора. Когда мы рассказываем про GPT, мы понимаем, что он не сам думает, а пролистывает огромное количество похожих текстов с похожими словами и соединяет их наиболее статистически правильным образом. И бац, получается похоже на киносценарий, если такое задание ему дали. Так что слово данные — это как раз про это. А если мы находимся внутри какой-то отрасли, то там не просто слова и тексты, а некие технологические явления, которые должны быть оцифрованы. Я правильно сказал?
Александр Крайнов: В общем, если вернуться сюда, то что происходит? Вот есть наша коллега, аналогичная компания, у которой были какие-то данные. Они взяли какое-то решение, применили к своим данным, как-то адаптировали, и у них получилось что-то хорошее. Плюс 5% к чему-нибудь. Либо себестоимость снизили, производительность подняли, неважно. Улучшили какие-то показатели. И вот это то, о чем говорил Владимир, готовый кейс. Дальше, если ты смотришь, что у тебя примерно то же самое, берешь то же самое решение, примерно понимая, сколько коллеги на это потратили, и тратишь столько же сил или уже даже меньше, потому что более-менее понятно, легче внедрять. Внедряешь то же самое и получаешь уже ясно что. Проще доказывать и обосновывать, почему это нужно делать. Вот таким образом это работает, здесь нет повторного использования готовой коробки. Здесь ты понимаешь, как то, что сделали другие, ты можешь применить у себя.
То есть технология все равно будет всегда инхаус, просто с использованием знания о том, как это еще делается?
Владимир Авербах: Нет, она может быть по подписке, допустим, обработка КТ- или МРТ-снимков, в целом это может быть подписочный сервис. Больница загружает снимок, получает описание, на выходе врач его верифицирует, как-то правит при необходимости. То есть необязательно прям в больнице нужны специалисты по data science, как раз там они вредны.
Александр Крайнов: Давайте проще пример. Вот в московском метро работает распознавание лиц, и, предположим, метрополитен какого-то другого города решит у себя то же самое сделать. Он может купить ту же самую технологию распознавания лиц, это не проблема. Но дальше ему нужно оборудовать турникеты, ему нужно приспособить под это платежную систему, которая у него какая-то другая. Фотографии не нужны, пользователи заново делают. Я имею в виду, что та часть, которая здесь является технологией искусственного интеллекта,— это одна из компонент системы, которую он должен будет все равно сам выстроить. Да, ему проще, потому что он опирается на чужой опыт. Ему проще, потому что он может прийти к коллегам и спросить, какие были сложности, трудности, как не наступить на те же грабли. Но это все равно некое новое действие, нельзя взять коробку, принести, и она будет работать.
Владимир Авербах: Или представьте себе, что я сельхозтоваропроизводитель и говорю: завтра сделайте мне искусственный интеллект агронома. Агроном говорит: вообще без проблем. Говорит айтишнику: сделай мне. Айтишник смотрит и говорит: как я сделаю, у тебя все данные по полям в журнальчике. И все, на этом заканчивается внедрение технологии машинного обучения. Нет данных, нет машинного обучения.

Теперь понятно. Чуть понятнее. Спасибо.

Рекомендуем:

Фотоистории

Рекомендуем:

Фотоистории
BFM.ru на вашем мобильном
Посмотреть инструкцию