ПЕРЕНОС ОБУЧЕНИЯ

1. РЕЗЮМЕ

Люди идеально подходят для передачи знаний между задачами. Это означает, что всякий раз, когда мы сталкиваемся с новой проблемой или задачей, мы понимаем ее, применяем соответствующие знания из нашего предыдущего опыта обучения и решаем ее соответствующим образом. Следуя тому же подходу, в области машинного обучения был введен термин Передача обучения. Трансферное обучение — это когда знания уже обученной модели машинного обучения применяются к другой, но связанной проблеме. Трансферное обучение стало популярным в области классификации изображений и обработки естественного языка.

В статье определяется трансферное обучение, почему внезапно возникло использование трансферного обучения и чем оно отличается от традиционного обучения. В статье будет рассмотрено, как реализуется трансферное обучение, когда использовать трансферное обучение, различные доступные типы трансферного обучения, а также мнения экспертов о подходе трансферного обучения. В статье обсуждаются различные приложения для трансферного обучения и некоторые популярные предварительно обученные модели, такие как Inception-v3, ResNet, VGG и т. д.

2. ВВЕДЕНИЕ

Трансферное обучение — это тип обучения, который фокусируется на сохранении знаний, полученных при решении одной проблемы, и применении их к другой, но связанной проблеме [1]. Общая идея состоит в том, чтобы использовать модель, которая извлекла уроки из множества доступных помеченных обучающих данных, и поместить ее в новую задачу, для которой не так много данных. Вместо того, чтобы начинать процесс обучения с нуля, мы начинаем с проектов, изученных в результате выполнения связанного поручения. Трансферное обучение на самом деле не является методом машинного обучения, но его можно рассматривать как «методологию проектирования» в этой области. Это также не является исключительной частью или областью изучения машинного обучения.[2] Учитывая все обстоятельства, он стал очень распространенным в сочетании с нейронными системами, которые требуют колоссальной суммы данных и вычислительной мощности.

3. ТРАДИЦИОННОЕ МАШИННОЕ ОБУЧЕНИЕ ПРОТИВ ТРАНСФЕРНОГО ОБУЧЕНИЯ

4. ЗАЧЕМ ИСПОЛЬЗОВАТЬ ТРАНСФЕРНОЕ ОБУЧЕНИЕ

4.1 Преимущества трансферного обучения

1. Лучшая начальная модель. Машинное обучение требует от вас создания моделей без предварительных знаний. Трансферное обучение является лучшей отправной точкой; даже без обучения можно выполнять задания определенного уровня.

2. Более высокая скорость обучения. Трансферное обучение обеспечивает более высокую скорость обучения во время обучения, потому что проблема была обучена для аналогичных задач.

3. Более высокая точность после обучения: с лучшей отправной точкой и более высокой скоростью обучения трансферное обучение представляет собой модель, которую можно использовать для перехода на более высокий уровень владения языком и получения более точных результатов.

4. Ускоренное обучение. Обучение позволяет достичь ожидаемой производительности быстрее, чем традиционные методы обучения, поскольку в нем используется предварительно обученная модель.

5. Требуется меньше данных: модель, которая уже была обучена задаче, для которой достаточно помеченных обучающих данных, сможет справиться с новой, но аналогичной задачей с гораздо меньшим объемом данных.

4.2 Ограничения трансферного обучения

1. Риск отрицательного переноса
2. Иногда приводит к переоснащению модели
3. Убедитесь, что проблема исходной модели относительно похожа на проблему целевой модели. Если нет, это может не сработать.

5. КАК ОСУЩЕСТВЛЯЕТСЯ ТРАНСФЕРНОЕ ОБУЧЕНИЕ

Существует множество способов и множество приложений, в которых может быть подключено трансферное обучение. Наиболее важными и теоретическими шагами использования этой стратегии являются:

1. Определите предварительно обученную модель

Этот шаг помогает распознать уже предварительно обученную модель, которая максимально близка к целевой модели. Предварительно обученная сверточная нейронная сеть — идеальная модель для передачи обучения в приложениях компьютерного зрения.

2. Определите способ передачи знаний

Следующий шаг показывает, как делиться знаниями о целевом наборе данных с помощью предварительно обученной модели. В первую очередь это включает в себя поиск способа интерпретации «знаний», закодированных предварительно обученной моделью, которые может усвоить целевая модель. В приложениях компьютерного зрения представление знаний о наборе данных обычно может быть выполнено путем вывода последнего сверточного слоя.

3. Обучение целевой модели

Последний шаг включает в себя использование «знаний», предоставленных предварительно обученной моделью, для эффективного обучения целевой модели. Это самая простая часть, так как она просто включает в себя подгонку целевой модели к новому набору данных.

6. КОГДА ИСПОЛЬЗОВАТЬ ТРАНСФЕРНОЕ ОБУЧЕНИЕ

1. Недостаточно данных

В некоторых случаях специалистам по данным может не хватать данных для обучения своих моделей машинного обучения. Недостаточная обработка данных может привести к снижению производительности, а использование предварительно обученных моделей может помочь специалистам по данным создавать более качественные модели.

2. Недостаточно ресурсов

Если предположить, что у нас есть огромный набор данных, у нас может не хватить ресурсов для обучения вашей модели на таком большом наборе данных. Поэтому, когда у нас нет вычислительных ресурсов для обучения модели с большим набором данных, имеет смысл трансферное обучение.

3. Недостаточно времени для обучения

Даже если у вас есть вычислительные ресурсы, вы должны ждать дни или недели, чтобы обучить такую ​​модель. Используя предварительно обученные модели, вы можете сэкономить драгоценное время.

7. ПЕРЕДАЧА ВИДОВ ОБУЧЕНИЯ

8. МНЕНИЕ ЭКСПЕРТОВ О МЕТОДОЛОГИИ ПЕРЕДАЧИ ОБУЧЕНИЯ

i) Эндрю Нг (основатель deeplearning.ai, главный научный сотрудник Baidu и профессор Стэнфордского университета)

По словам Эндрю Нг (NIPS 2016), «передача обучения станет следующим фактором успеха машинного обучения»[3].

ii) Демис Хассабис (генеральный директор DeepMind)

По словам генерального директора DeepMind Демиса Хассабиса, трансферное обучение также является одним из самых многообещающих методов, который однажды может привести к развитию общего искусственного интеллекта (ИИА).

Он сказал: «Я думаю, что трансферное обучение является ключом к общему интеллекту. И я думаю, что ключом к трансферному обучению будет приобретение концептуальных знаний, абстрагированных от деталей восприятия того, откуда вы их узнали» [4].

9. ПРИМЕНЕНИЕ ПЕРЕДАЧИ ОБУЧЕНИЯ

1. Распознавание изображений: трансферное обучение можно использовать в различных задачах распознавания изображений. Например, модель распознавания собак можно использовать для распознавания кошек.
2. Обработка естественного языка (NLP): – NLP — одно из самых популярных приложений для трансферного обучения. Например, знания ранее обученных моделей ИИ, которые могут понимать структуру языка, могут быть перенесены на другую модель, целью которой является предсказание следующего слова в последовательности на основе предыдущих предложений.
3. Распознавание речи. Модель искусственного интеллекта, разработанная для распознавания речи на английском языке, может быть использована в качестве основы для модели распознавания речи на немецком языке.
4. Автономное вождение: модели, обученные автономному вождению, можно использовать для автономных грузовиков. Обучение переносу также можно использовать для идентификации различных типов объектов. Например, модель, которая распознает другие транспортные средства на дороге, может быть использована для распознавания мотоциклов или автобусов в автономном режиме.
5. Игры: модель формулирования стратегий в процессе игры в го может быть применена к шахматам. Например, знания AlphaGo можно перенести в другие игры вместо того, чтобы тратить время на создание новой модели с нуля.

10. ПОПУЛЯРНЫЕ ПРЕДВАРИТЕЛЬНО ОБУЧЕННЫЕ МОДЕЛИ ДЛЯ ПЕРЕДАЧИ ОБУЧЕНИЯ[5]

а. ВГГ-19

•Сверточная нейронная сеть.

• Обучение на базе данных ImageNet (>1 миллион изображений)

• Классифицировать до 1000 объектов.

• Размер изображения 224x224 пикселей

б. Начальная версия 3 (GoogleLeNet)

•Сверточная нейронная сеть. (Создано Google)

• Обучение на базе данных ImageNet (>1 миллион изображений)

• Классифицировать до 1000 объектов.

• Размер изображения 299x299 пикселей

в. ResNet50 (остаточная сеть)

• Сверточная нейронная сеть (построена Microsoft)

• Обучение на базе данных ImageNet (>1 миллион изображений)

• Классифицировать до 1000 объектов.

• Размер изображения 224x224 пикселей

• ResNet улучшился благодаря новым версиям

д. Эффективная сеть

•Сверточная нейронная сеть. (Создано Google)

• Обучение на базе данных ImageNet (>1 миллион изображений)

• Классифицировать до 1000 объектов.

• Размер изображения 224x224 пикселей

11. ЗАКЛЮЧЕНИЕ

Трансферное обучение — это когда знания уже обученной модели машинного обучения применяются к другой, но связанной проблеме. Внезапно появилось использование трансферного обучения, поскольку оно помогает создать лучшую начальную модель, обеспечивает более высокую скорость обучения модели, модель имеет более высокую точность после обучения по сравнению с традиционным ML, обучение модели происходит быстрее и требуется меньше данных. Говоря о реализации трансферного обучения, идентифицируют предварительно обученную модель, затем передают знания из одной модели в другую и обучают целевую модель. Лучшее время для использования трансферного обучения — это когда недостаточно доступных данных, ресурсов и времени для обучения модели. Доступны различные типы трансферного обучения, такие как индуктивное, трансдуктивное и неконтролируемое. Существует ряд приложений для трансферного обучения, таких как приложения Computer Vision, приложения NLP, распознавание речи, автономное вождение, игры и т. д. Некоторые из наиболее популярных предварительно обученных моделей — VGG-19, Inceptionv3, ResNet50, EfficientNet. Трансферное обучение имеет большой потенциал в будущем. Некоторые люди даже думают, что трансферное обучение станет ключом к открытию общего искусственного интеллекта или искусственного интеллекта, подобного человеку. Но искусственный интеллект, который может накапливать знания и обобщать все знания в своей области, то есть искусственный интеллект, который может учиться, как люди, может стать первым шагом к ИИ, существующему в нашей научной фантастике и наших мечтах.

12. ССЫЛКИ

[1]Радхакришнан, Праной. «Что такое трансферное обучение?», Medium, 26 октября 2019 г. 01 августа 2021 г. ‹https://towardsdatascience.com/what-is-transfer-learning-8b1a0fa42b4›

[2] Донгес, Никлас. «Что такое трансферное обучение? Изучение популярного подхода к глубокому обучению», Встроенный. 01 августа 2021 г.‹https://builtin.com/data-science/transfer-learning›

[3] Себастьян Рудер, «Перенос обучения — следующий рубеж машинного обучения», Себастьян Рудер, 15 июня 2020 г. 01 августа 2021 г. ‹https://ruder.io/transfer-learning/›

[4] Джимо, Хафиз. «Как работает трансферное обучение», Medium, 26 октября 2020 г. 01 августа 2021 г. ‹https://towardsdatascience.com/how-transfer-learning-works-a90bc4d93b5e›

[5] Ялчин, Орхан Г. «4 предварительно обученные модели CNN для использования в компьютерном зрении с трансферным обучением», Medium, 2 февраля 2021 г. 01 августа 2021 г. ‹https://towardsdatascience.com/4-pre-trained-cnn-models-to-use-for-computer-vision-with-transfer-learning-885cb1b2dfc›