Возможно, в последнее время вы слышали много шумихи о новых микросхемах искусственного интеллекта, которые внедряются в новейшие смартфоны. Согласно распространенному недавнему заголовку, они «Положите мощь нейронных сетей на вашу ладонь!». Все основные производители также дали своим чипам AI крутые имена. В iPhone есть «Bionic Chip» с «Neural Engine». В новом телефоне Huawei есть «нейронный процессор» (NPU).

Но что на самом деле делают эти чипы? Что они значат для потребителей сегодня? Помимо слухов, мы видим, что сейчас в мобильных устройствах наблюдается серьезная тенденция к использованию оборудования искусственного интеллекта. Samsung, Qualcomm, ARM, Nvidia, а также ранее упомянутые Apple и Huawei имеют новые чипы мобильного ИИ. Google также добавляет API в Android, чтобы «подключиться к ускорителям, специфичным для кремния», а Apple открыла для разработчиков свою структуру искусственного интеллекта.

Итак, что будет означать наличие этих чипов для тенденций в развитии искусственного интеллекта и решений AI в будущем? Какие решения будут возможны в мире смартфонов с аппаратным ускорением AI, которые были невозможны в прошлом?

Дело в том, что смартфоны уже некоторое время используют преимущества искусственного интеллекта, но обработка либо выполняется основным чипсетом ЦП / ГП, либо выгружается в облако. Одно из явных преимуществ ИИ-чипов нового поколения заключается в том, что они позволяют обрабатывать данные на устройстве, снижая время отклика по сравнению с переносом вычислений в облако. Они также позволят выполнять обработку более эффективно, снижая энергопотребление и увеличивая срок службы батареи.

Еще одним преимуществом оборудования искусственного интеллекта на устройстве является конфиденциальность и безопасность данных. Персональные биометрические данные или другие конфиденциальные данные могут оставаться на устройстве, и их не нужно отправлять через Интернет для обработки в облаке. Это позволяет владельцу данных сохранять полный контроль над своей информацией. По сути, вы можете привести модель к данным, а не данные к модели.

Будущие приложения, которые извлекают выгоду из `` пограничного вывода '' на устройстве, могут позволить сетям смартфонов с чипом AI работать согласованно, каждая из которых будет использовать частные локальные данные для обучения общих моделей, что позволит агрегировать большие объемы личных данных при сохранении безопасности. и конфиденциальность.

Хотя такие приложения все еще находятся в стадии разработки, сегодняшние варианты использования могут быть немного более прозаичными. Apple продемонстрировала потенциал нейронного движка своего Bionic Chip для сопоставления лица пользователя с анимированным смайликом какашкой на недавнем мероприятии (к бурным аплодисментам). Но это еще только начало.

Поскольку возможности этих чипов только недавно стали доступны разработчикам, наиболее привлекательные сторонние приложения с улучшенным ИИ, вероятно, все еще находятся в стадии разработки. Отсутствие адекватных наборов инструментов, позволяющих большинству разработчиков программного обеспечения реализовывать реальные проекты ИИ, является еще одним серьезным узким местом, равно как и отсутствие актуальных, недорогих и должным образом маркированных данных обучения. В результате сегодня большинство функций искусственного интеллекта в существующих смартфонах ограничено собственными приложениями и функциями производителей телефонов, поскольку сегодня у них есть бюджет, опыт и доступ к данным.

Одним из примеров такого типа приложений, созданных на базе искусственного интеллекта, является функция Apple Face ID. Распознавание лиц уже давно является основной областью изучения и развития систем компьютерного зрения с глубоким обучением. В чрезвычайно информативном сообщении в блоге от ноября 2017 года под названием Глубокая нейронная сеть на устройстве для распознавания лиц Apple обсудила проблемы и возможности подходов к глубокому обучению для Face ID.

«С появлением глубокого обучения и его применения к проблемам компьютерного зрения, современная точность распознавания лиц сделала огромный скачок вперед ... [но] по сравнению с традиционным компьютерным зрением, изученные модели в глубоком обучении требуют порядков. намного больше памяти, намного больше дискового пространства и больше вычислительных ресурсов. Какими бы функциональными ни были современные мобильные телефоны, типичный мобильный телефон высокого класса не был жизнеспособной платформой для моделей глубокого обучения. Большая часть отрасли решила эту проблему, предоставив решения для глубокого обучения через облачный API. В облачном решении изображения отправляются на сервер для анализа с использованием вывода глубокого обучения для обнаружения лиц ...

Команда машинного обучения Apple Computer Vision продолжает описывать конкретные методы, которые они использовали для решения проблем с запуском глубокой сверточной сети на устройстве.

«В совокупности все эти стратегии гарантируют, что наши пользователи могут получать локальные, частные выводы глубокого обучения с малой задержкой, не зная, что их телефон работает с нейронными сетями со скоростью несколько сотен гигафлопс в секунду»,

Помимо биометрических систем безопасности, требующих высокой безопасности и точности, таких как Face ID, Apple и другие крупные производители смартфонов также используют глубокое обучение для идентификации элементов на фотографиях, включая объекты, людей, лица и сцены, чтобы оптимизировать камеру для получения наилучших снимков. широкий спектр ситуаций и условий.

Huawei была одним из первых лидеров в этой области. Их чип Kirin AI превосходит процессоры Qualcomm и Apple по ряду тестов, а их бюджет на исследования и разработки в прошлом году на самом деле был немного выше, чем у Apple, и составлял 11,75 миллиарда долларов.

Функциональность искусственного интеллекта на их новейшем флагманском телефоне теперь может распознавать более 500 отдельных сценариев. Они также являются лидерами в разработке стабилизации изображения AI (AIS), которую они достигают с помощью своего чипа нейронной обработки, чтобы предсказывать и реагировать на дрожащие движения руки для каждого отдельного кадра. Эта технология также позволяет использовать более длинные выдержки для замечательных и ранее невозможных ночных снимков с рук.

Другие функции с поддержкой ИИ для новейших смартфонов могут улучшить взаимодействие с пользователем практически незаметным образом - мы можем не знать, что происходит, но наши телефоны будут работать намного более плавно, и это будет связано с работой искусственного интеллекта с аппаратным ускорением. за кулисами.

Некоторыми способами это может произойти - это усовершенствования моделей глубокого обучения обработки естественного языка (NLP), которые предсказывают выбор слова и намерение для клавиатуры ввода текста, для персонализированных агрегаторов новостей, для навигации по карте и перевода в реальном времени.

Одним из первых примеров функциональности искусственного интеллекта на смартфонах стал запуск Apple Siri, который теперь дублирован многими производителями смартфонов в виде более общих «виртуальных помощников». Обработка ИИ для этих голосовых помощников была и может продолжать выполняться в облаке, но бортовое оборудование для ускорения ИИ должно обеспечивать улучшенную персонализацию, распознавание местных названий мест, изучение имен друзей и членов семьи и даже изучение индивидуальных акцентов и моделей речи - все с более высокой точностью, меньшей задержкой и меньшим энергопотреблением. Если Сири и ее кузены иногда казались разочаровывающими научными экспериментами в прошлом, это могло быть связано с обработкой изменений с помощью чипов AI.

Аппаратное ускорение - это, конечно, только одна часть головоломки. Оптимизация моделей для эффективного выполнения и создания алгоритмов, способных работать локально, станет результатом большой тяжелой работы и скоординированных усилий. Точно так же доступ к правильно размеченным обучающим данным будет препятствием для многих разработчиков приложений, желающих воспользоваться преимуществами этого нового оборудования. (проблема, которую Neuromation пытается решить, уделяя особое внимание синтетическим данным и ведущим в отрасли инструментам для разработчиков).

Учитывая недавнее появление ИИ-чипов в смартфонах, можно с уверенностью сказать, что мы все еще находимся только на первом этапе этой технологической тенденции. Первый этап может быть менее заметным и сосредоточен на основных функциях смартфона, таких как камера, ввод текста, навигация по карте и поиск, и первоначально будет проявляться с повышенной точностью, безопасностью и энергопотреблением. Но при дальнейшем развитии эта революция начнет распространяться на совершенно новые приложения, которые ранее были невозможны, и обеспечит уровень персонализации, прогнозирования и точности, которого мы не испытывали раньше.

Ангус Ровен,

Аналитик Neuromation по связям с инвесторами