Примеры кода с использованием допаминового протокола

Автор Ури Йерушалми

Все мы понимаем важность изучения опыта других. В своей жизни мы встречаем множество людей, которым доверяем и идем по тому же пути, по которому идем. Хотя их путь может быть не таким, как у нас, многие люди сталкивались и решали проблемы, подобные тем, с которыми, возможно, сталкивались мы. Используя чужой опыт в качестве отправной точки, мы ускоряем свой прогресс. Но можно ли применить тот же подход к машинному обучению (ML)?

Ниже мы покажем упрощенную реализацию, основанную на сети Dopamine, которая применяет аналогичные концепции в ML.

Трансферное обучение

В машинном обучении термин «трансферное обучение» используется для обозначения подхода, аналогичного представленному выше, когда знания, полученные при решении одной проблемы, применяются к другой проблеме. Не так давно трансфертное обучение считалось «следующим фактором успеха машинного обучения» (Эндрю Нг, NIPS, 2016). Я не уверен, что трансферное обучение оправдало это обещание, по крайней мере, на коммерческом уровне.

Одна из причин может заключаться в том, что в отличие от людей, где существует старая и устоявшаяся социальная структура, в которой мы «передаем» обучение нашим друзьям, родственникам и клиентам, в ML такая социальная структура является относительно новой. Поскольку эта структура все еще развивается, между различными организациями отсутствует доверие. Неизбежным результатом является структурный рыночный барьер, когда большинство случаев «трансфертного обучения» происходит в рамках одной исследовательской группы или организации.

Google Cloud AutoML

Однако отрасль демонстрирует признаки потребности преодолеть этот структурный рыночный барьер трансфертного обучения. Google недавно выпустил альфа-версию Cloud AutoML, начиная с AutoML Vision, который представляет собой услугу машинного обучения на основе трансферного обучения, которая позволяет потребителям обучать пользовательские модели зрения для своих собственных сценариев использования. Основная идея, лежащая в основе этой технологии, заключается в том, что Google предоставляет предварительно обученную модель классификации изображений, позволяющую потребителю загружать свои собственные изображения для обучения и оценки новой модели, ориентированной на их собственные потребности в классификации.

Протокол дофамина обеспечивает аналогичную передачу децентрализованным способом, при этом мелкие поставщики также могут предоставлять такие услуги.

Наш пример

В нашем примере ниже (код доступен на github) мы показываем производителя, который подключает предварительно обученный сервис к сети Dopamine. Этот сервис был обучен примерно на 36 000 изображений цифровых символов 1–6 (из библиотеки MNIST). Сервис позволяет потребителям создавать экземпляры своей собственной копии модели, обучать и оценивать ее на своих собственных данных. Потребитель, у которого есть только 42 образца цифр из классов, которые были неизвестны производителю (7,8,9,0), использует этот сервис для создания своей собственной модели классификации:

Слой дофамина заботится о согласовании обеих сторон и передаче наград (более четкие образцы доступны в наших предыдущих публикациях). Мы также показываем сравнение двух потребителей, у которых у обоих одинаковые 42 обучающих выборки:

  • «Самообучающийся» потребитель (синий ниже), который решает обучить модель самостоятельно, используя ту же технику, что и провайдер.
  • Потребитель «трансферного обучения» (зеленый ниже), который выбирает услугу трансферного обучения из допаминовой сети.

На диаграмме ниже видно, что, хотя оба потребителя имеют одни и те же данные и используют одну и ту же архитектуру глубокого обучения, потребитель, который «учился на опыте других», добился более высокой точности.

Заключительные примечания

Представленный выше образец - это всего лишь «игрушечный образец», представляющий возможные взаимодействия в дофаминовой сети. Дальнейшие усовершенствования, например, могут включать в себя передачу знаний между большим количеством участников, а не только двумя, как здесь представлено. Кроме того, механизм доверия, который находится в разработке, еще не был представлен как часть допаминовой сети. Однако изложенная базовая концепция намного глубже: так же, как мы пытаемся учиться на опыте других, технологии децентрализации позволяют нам создавать системы ИИ, которые учатся на опыте других систем ИИ. Но в отличие от человеческого случая, где каждый человек может учиться на опыте нескольких других (в настоящее время я игнорирую эволюцию, о которой будет рассказано в отдельном посте), в случае децентрализации ИИ огромный потенциал трансферного обучения не имеет себе равных. .