Федеративное обучение, лежащее в основе периферийных вычислений

Эта статья посвящена федеративному обучению, одному из приложений машинного обучения для поддержки защищенного конфиденциальности Интернета вещей и периферийных вычислений.

Федеративное обучение

Федеративное обучение — это метод машинного обучения, при котором модели обучаются на разных устройствах и серверах без совместного использования данных отдельных устройств и серверов.

В обычном процессе машинного обучения вы собираете данные в одном месте, систематизируете их и создаете на их основе обучающие данные для обучения. Другими словами, это централизованный подход с точки зрения данных. Напротив, без обмена данными федеративное обучение может принести преимущества машинного и глубокого обучения, решая при этом важные вопросы, которые необходимо учитывать компаниям и обществу, такие как конфиденциальность данных, безопасность данных, права доступа к данным и использование разнородных данных. Его приложения варьируются от обеспечения индивидуальной конфиденциальности до обучения отраслевым моделям обучения с сокрытием отдельных карточек (данных) компаний, до финансовых, медицинских и фармацевтических отраслей, которым требуется такая защита данных, как социальная инфраструктура, до военных и оборонных и многое другое.

Обзор

Федеральное обучение обеспечивает поэтапное обучение моделей машинного обучения с общими данными в облаке и частными данными на локальных узлах (локальные устройства и локальные серверы) без явного обмена частными данными.

В типичной реализации вы сначала создаете общую модель обучения на основе общих обучающих данных в облаке. Затем обученная общая модель распространяется на каждый узел для вывода. Затем он может выполнять распознавание голоса, распознавание изображений, распознавание лиц, машинный перевод и т. д. на таких устройствах, как смартфоны, планшеты и динамики с искусственным интеллектом. После этого вы хотите улучшить его в соответствии с использованием и данными на отдельных устройствах (например, для распознавания лиц вы заставляете его изучать данные о лицах пользователей смартфонов). В этом случае он будет отправлять информацию об инкрементальных параметрах (веса глубокой нейронной сети, смещение и т. д.) и изменениях в облако только во время обучения на устройстве. Передаваемая информация усредняется вместе с обновлениями, отправляемыми с других устройств, что улучшает модель обмена в облаке. Индивидуальные тренировочные данные (или, в случае распознавания лиц, данные лица пользователя) остаются на отдельном устройстве, что позволяет защитить личную конфиденциальность.

Технология, лежащая в основе граничных вычислений

Федеративное обучение поддерживает конфиденциальность и защиту данных, а также более высокий отклик (меньшую задержку), более низкое энергопотребление и настройку для конкретных устройств, что реализует более интеллектуальный ИИ для обновления всей модели. В приведенном выше примере отдельные устройства обучаются локально, поэтому пользователь может сразу же использовать результаты обучения. Эта технология может лежать в основе так называемых граничных вычислений.

Федеративное усреднение

С технической точки зрения, в так называемом глубоком обучении алгоритмы оптимизации, такие как SGD (стохастический градиентный спуск, один из алгоритмов поиска минимального значения функции), используются для больших наборов данных. Это итеративный алгоритм, который повторяется снова и снова и поэтому требует облачной системы, содержащей хранилище и графические процессоры, которые могут выполнять большое количество вычислений. Федеративное обучение, с другой стороны, использует метод, называемый федеративным усреднением, чтобы уменьшить количество сообщений.

Федеративное усреднение позволяет локальным узлам обучать общую модель, которая у них есть локально, путем обмена весами обновленных параметров, а не информацией о градиентах в результате обучения, после того, как каждый локальный узел обучил локальные данные. Это использует тот факт, что усреднение градиента эквивалентно усреднению весов параметров, когда все локальные узлы начинают обучение с одного и того же начального значения исходной модели. Это приводит к федеративному обучению, поскольку вы достигаете общего обучения в 10–100 раз меньшего количества сообщений, чем при использовании алгоритма SGD в распределенном состоянии.

Полностью распределенное федеративное обучение и блокчейн

До сих пор мы описывали федеративную систему обучения с центральным облаком в качестве исходной модели для построения общей модели. С другой стороны, может существовать федеративная система обучения, ориентированная на полностью распределенную (P2P) архитектуру. В полностью децентрализованном федеративном обучении каждый узел взаимодействует, чтобы получить общую модель для узлов. Как и у других систем типа P2P, у нее также больше не будет «центра». Таким образом, больше не существует единой точки отказа (SPOF), что делает систему более устойчивой к сбоям. Однако распространение модели обучения по-прежнему зависит от топологии сети.

Полностью распределенное федеративное обучение может хорошо работать вместе с блокчейном благодаря своей структуре. Ранее мы обсуждали взаимодополняющий характер блокчейна и ИИ. Кроме того, полностью распределенное федеративное обучение представляет собой практическую синергию между блокчейном и ИИ.

Случаи применения

Федеративное обучение привлекло широкое внимание благодаря статье 2017 года в блоге Google. В следующей статье объясняется, как ее можно использовать с клавиатурой Google.

Недавно его также изучали для приложений в области финансов и медицины, поскольку пользователь может извлечь выгоду из машинного обучения, сохраняя при этом высокий уровень безопасности. Например, Webank, онлайн-банк в Китае, работает с Tencent над исследованием федеративного обучения. Цель состоит в том, чтобы снизить риск утечки информации за счет обновления данных клиентов на локальном пограничном сервере.

Федеративное обучение упоминалось ранее как технология, лежащая в основе периферийных вычислений, но, кроме того, федеративное обучение может проложить путь для будущей эволюции четвертой промышленной революции.

Четвертая промышленная революция была определена ее крестным отцом, профессором Клаусом Швабом, основателем и президентом Всемирного экономического форума, как технологическая революция, которая преодолевает границы физического, цифрового и биологического. Самой большой проблемой является конфиденциальность, которой еще больше угрожает использование биометрических данных, и преимущества использования данных будут продолжать расти по мере развития технологии ИИ. Как мы можем извлечь выгоду из технологических разработок, защищая нашу конфиденциальность? Одним из краеугольных камней для этого может стать федеративное обучение.

В этой статье я представил федеративное обучение. Как видите, федеративное обучение, которое представляет собой метод отражения обучения на большом количестве распределенных терминалов во всей модели при обеспечении защиты информации, в значительной степени поддержит будущее развитие эпохи Интернета вещей, когда к сети будет подключено большое количество устройств. и эволюция четвертой промышленной революции. Это будет один из ключевых компонентов граничных вычислений для поддержки нашего общества в будущем.