Российский студент о своей разработке, поразившей Тима Кука: «Очень много безумно крутых идей в мире, но они теряются, когда мы их показываем»

— У Apple есть отличная программа поддержки студентов. И я в этом году отправил свой проект, чтобы поучаствовать в WWDC как студент. Я сделал приложение «pitch coach: говори уверенно», которое помогает людям представлять свои идеи на весь мир с помощью Apple Intelligence — встроенного искусственного интеллекта. То есть не нужно интернет-соединения, не нужно никаких серверов — все локально на устройстве, используют AirPods для осанки. И все это позволяет доносить идеи миру классно, понятно и четко. Собственно, проект понравился Тиму [Куку], Джону [Тернусу], они сказали, что супер. Про меня Apple сделала интервью на своем веб-сайте как победителя Apple Swift Student Challenge. И пригласили в Купертино, в Калифорнию, оплатили перелет, отель, участие в мероприятии и дали возможность представить свой проект топ-менеджерам Apple. Тим даже пошутил, что, возможно, будет пользоваться им для подготовки к WWDC. WWDC прошла успешно, это главное техническое мероприятие года, на нем собираются разработчики со всего мира, iOS-разработчики, слушают про инновации от Apple. Если у кого-то появляется возможность, рассказывают, как я. «Pitch coach: говори уверенно» может скачать кто угодно. Это может быть пользователь MacBook, пользователь iPhone, пользователь iPad. Если есть наушники, это классно. Они позволяют с помощью встроенных библиотек от Apple отслеживать осанку. Это, кстати, довольно инновативное решение, что очень понравилось Тиму. А если нет наушников, просто параметр будет не учитываться, и речь будет оценена без наушников.

— Как приложение реагирует на какие-то действия? Оно следит за осанкой — как это происходит?

— У наушников AirPods есть Core Motion API, это помогает отслеживать с помощью встроенных датчиков в AirPods движение головы — приложение просто их оценивает: сильный наклон, высокий наклон, наклон в сторону — вправо, влево. Происходит оценка, смотрится общая сумма, и приложение говорит, какова была осанка во время презентации. Причем также приложение оценивает разные контексты.

— Как происходит борьба со словами-паразитами? Что делает приложение?

— Приложение распознает все сказанные нами слова на устройстве и оценивает количество слов-паразитов, сказанных в речи. Допустим, я запустил запись в приложении во время эфира, и приложение мне все время говорит, что я сказал сейчас «э-э». И в конце приложение производит результат и говорит: у тебя было сказано столько слов-паразитов. Можно улучшить, можно их добавить, отслеживать. Полноценная статистика нашей речи. Приложение я стал разрабатывать, когда моя мама, преподаватель в университете, сказала, что у нее есть талантливые студенты, которые иногда теряют свой голос, уверенность или просто осанку и тем самым не могут донести свою идею понятно, четко, красиво. Очень много безумно крутых идей в мире, но они теряются, когда мы их показываем. Собственно, в этом и заключается цель приложения, поэтому оно и бесплатно, потому что хочется помогать людям, чтобы они могли доносить свои идеи круто и понятно. Pitch coach этим универсален и тем самым инновационен — использует последние технологии от Apple, которые были анонсированы год назад, и успешно их интегрирует. Любой пользователь может добавить свои собственные слова-паразиты — допустим, нецензурную речь. И приложение будет отслеживать, когда человек их сказал, присылать уведомления. Тем самым можно бороться и с нецензурной бранью.

— Оно только присылает уведомления?

— Там еще вибрации на телефоне либо на часах. Если мы выступаем на сцене, тогда будет происходить уведомление, которое будет создавать достаточную вибрацию, чтобы человек почувствовал — окей, я сказал это.

— Как вам кажется, что больше всего впечатлило Тима Кука?

— Когда приложение строит план речи, что было сказано, что недосказано в момент, когда происходит презентация. И если пользователь забыл либо не знает, что сказать в моменте финиширования речи, тоста, приложение подскажет: можно сказать вот эту фразу. Пользователь может ее просто прочитать. Она будет подходить к контексту, будет основана на том, что пользователь сказал, и легко интегрироваться в речь. По сей день я улучшаю приложение. Со мной пользователи со всего мира, пользователи из Германии делятся отзывами, как можно улучшить. Со мной связываются некоторые коучи, говорят: было бы классно еще рассмотреть такой параметр. Допустим, это приложение работает с Apple Watch, и оно отслеживает уровень стресса во время презентаций.