В обычной повседневной жизни люди используют одну область знаний и применяют ее к другой, чтобы лучше решить конкретную задачу. Чем больше сходство между доменами, тем легче передавать и использовать знания, чтобы получить гораздо лучший результат. Говоря языком непрофессионала, можно привести множество примеров из нормальной человеческой жизни, таких как:

  1. Уметь ездить на велосипеде - ›Научитесь ездить на велосипеде
  2. Научитесь играть на акустической гитаре - ›Научитесь играть на электрогитаре
  3. Изучите концепции математики - ›Изучите концепции машинного обучения.

В каждом из приведенных выше примеров нет необходимости учить что-либо с самого начала. Здесь нужно только перенести знания на то, чему научились из прошлого.

Как правило, модели машинного обучения не обучаются работе путем передачи знаний от одной модели к другой. Под знаниями здесь понимаются обновленные веса и смещения, полученные на каждом уровне. Следовательно, трансфертное обучение - это идея преодоления этой изоляции и использования знаний, полученных в результате выполнения одной задачи, для решения других связанных задач.

Основное преимущество использования трансферного обучения заключается в том, что оно позволяет ускорить разработку и обучение модели за счет повторного использования модулей или частей уже разработанных моделей. Это не только ускоряет процесс обучения модели, но и улучшает результаты.

Эндрю Нг, известный профессор и специалист по данным, связанный со Стэнфордом, Google и Coursera, представил в NIPS 2016 замечательный учебник под названием 'Гайки и болты строительства Приложения AI с использованием Deep Learning ». В этой лекции он упомянул, что

«Трансферное обучение станет следующим фактором успеха машинного обучения»

Я рекомендую заинтересованным людям ознакомиться с его интересным руководством от Nuts and bolts of building AI-приложения с использованием Deep Learning 2016.

Из графика, обсуждаемого Эндрю Нг, ясно видно, что влияние неконтролируемых алгоритмов и алгоритмов подкрепления с 2016 года в значительной степени снизилось, а трансферное обучение ускорилось и набирает обороты. скорость. Хотя контролируемое обучение по-прежнему намного опережает трансферное обучение, трансферное обучение определенно превзойдет его в ближайшие годы с точки зрения важности.

Разница между трансферным обучением и машинным обучением

Традиционное машинное обучение называется изолированным, потому что знания не накапливаются. Более того, это обучение с одной задачей, потому что обучение осуществляется без учета прошлых знаний в каких-либо других задачах. Как видно из приведенной выше диаграммы, данные передаются непосредственно в обучающую систему или обучающие модели, и каждая модель обучается без передачи знаний из другой обучающей системы.

В трансферном обучении концепция полностью противоположна концепции традиционного машинного обучения, поскольку изучение новой задачи зависит от ранее изученных задач. Благодаря этому действию точность вывода будет намного лучше по сравнению с его аналогом, и процесс будет улучшен. Как видно из приведенной выше диаграммы, ясно видно, что обучаемая модель передает или делится знаниями (весами, функциями и т. Д.) С другой системой обучения.

Давайте разберемся, в чем разница между трансферным обучением и традиционным машинным обучением, на примере. Предположим, у кого-то есть огромный набор данных, состоящий из изображений различных типов объектов, и этот человек должен классифицировать, является ли изображение автомобилем или грузовиком или каким-либо другим транспортным средством. При традиционном машинном обучении изображения должны проходить через сверточную нейронную сеть, которая будет обучаться впервые. Затем характеристики будут извлечены, и после других раундов CNN будет произведена классификация изображений. С другой стороны, при переносе обучения будет использоваться предварительно обученная модель CNN, которая была бы получена из другой системы обучения и даст гораздо более точные результаты для классификации изображений. Таким образом, трансферное обучение привлекает большое внимание специалистов по машинному обучению.

Категории трансферного обучения

До сих пор мы обсуждали основной смысл трансферного обучения, не углубляясь в его математические концепции. Эти стратегии трансферного обучения зависят от предметной области и доступности данных. Таким образом, методы трансферного обучения в целом делятся на три категории в зависимости от задействованных алгоритмов машинного обучения:

  1. Индуктивное обучение передачи: - Здесь исходная и целевая задачи отличаются друг от друга, но исходный и целевой домен совпадают. Алгоритмы ИИ помогают улучшить целевую задачу, пытаясь использовать исходный домен.
  2. Неконтролируемое трансферное обучение. Этот метод очень похож на индуктивный, с той лишь разницей, что задачи в целевом домене не контролируются. Здесь также задачи различаются, а исходный и целевой домен похожи. Никаких помеченных данных здесь нет.
  3. Обучение трансдуктивному переносу: - Этот метод полностью отличается от двух вышеупомянутых техник. Здесь исходный и целевой домены отличаются друг от друга, а задачи в чем-то схожи. В исходном домене много помеченных данных, тогда как в целевом домене данных нет.

Теперь переносное обучение можно применять к разным настройкам, но что передавать - это главный вопрос. Итак, ответ заключается в разных подходах. Поэтому я дам краткое введение об этих подходах, с помощью которых будет очень легко понять концепции.

  1. Передача представления функций: здесь частота ошибок и расхождение между доменами в значительной степени сведены к минимуму за счет определения хороших представлений функций, которые могут быть использованы от исходного домена к целевому.
  2. Передача реляционных знаний: - Этот подход пытается обрабатывать данные, не относящиеся к IID, например, данные, которые не являются независимыми и одинаково распределенными. Здесь каждая точка данных связана с другими точками данных.
  3. Передача экземпляра. В большинстве случаев данные исходного домена нельзя повторно использовать напрямую. Скорее, есть определенные экземпляры из исходного домена, которые можно повторно использовать вместе с целевыми данными для улучшения результатов. Повторное использование знаний из исходного домена в целевой задаче обычно является идеальным сценарием.
  4. Передача параметров: этот подход работает при предположении, что модели для связанных задач имеют общие параметры или предварительное распределение гиперпараметров. В отличие от многозадачного обучения, при котором одновременно изучаются и исходная, и целевая задачи, для трансферного обучения мы можем применить дополнительный вес к потере целевого домена, чтобы улучшить общую производительность.

Преимущества трансферного обучения

Пока вы читаете статью, было несколько случаев, когда я упоминал о преимуществах внедрения трансферного обучения для создания более крутых проектов с качественным выводом. Итак, вот некоторые дополнения к этим пунктам:

  1. Можно построить более надежные модели, которые могут выполнять широкий спектр задач.
  2. Знания легко переносятся из одной модели в другую.
  3. Иногда данные не имеют ярлыков, поэтому трансферное обучение может решить такие проблемы.
  4. Сложные проблемы реального мира можно решить с помощью нескольких ограничений.

Недостатки трансферного обучения

В природе нет ничего идеального. У всего есть какой-то недостаток. Мы прошли через множество положительных сторон трансферного обучения, но есть и некоторые недостатки, которые могут вызвать некоторые проблемы в вашем проекте, если их не принять во внимание. Поэтому важно помнить о них при использовании трансферного обучения. В основном существует два типа трансферного обучения, а именно:

  1. Границы переноса: - Очень важно при переносе обучения количественно оценить перенос. Тем самым это влияет на качество перевода и его жизнеспособность. Этот момент слишком широк для понимания в этой теме, так как он выходит за рамки статьи. Для дальнейшего чтения вы можете обратиться к различным исследовательским статьям о трансферном обучении, например, к статье Хасана Махмуда и их соавторов, которые измерили сумму для перевода, а также у Eaton и их соавторов, представивших новый графический подход к измерить передачу знаний.
  2. Отрицательный перенос: - Было много случаев, когда я говорил об улучшении точности и производительности с помощью переноса весов, смещений и т. д. в другие системы обучения. Но иногда может наблюдаться снижение производительности. Итак, теперь легко угадать его определение. Отрицательное обучение с передачей относится к падению общей производительности системы обучения во время передачи знаний от источника к цели. Очень необходимо позаботиться об этой ситуации и требует тщательного расследования.

Заключение

На этом моя первая статья завершается кратким описанием концепции трансферного обучения, отличия от традиционного машинного обучения, его категорий, преимуществ и проблем трансферного обучения. Трансферное обучение определенно станет одним из ключевых факторов успеха машинного обучения и глубокого обучения в массовом внедрении в отрасли. Если вы читаете этот раздел, я благодарен за то, что прочитал мою первую статью!

Ресурсы

  1. Глава 11: Трансферное обучение, Справочник по исследованиям приложений машинного обучения, 2009 г.
  2. Пан, С. Дж., И Ян, К. (2010). Обзор трансфертного обучения. IEEE Transactions по разработке знаний и данных, 22 (10), 1345–1359.
  3. Обзор трансфертного обучения, 2010.
  4. Как повысить производительность с помощью трансферного обучения для нейронных сетей с глубоким обучением