Новый метод устраняет некоторые ограничения полууправляемого обучения.
Недавно я начал новый информационный бюллетень, посвященный образованию в области искусственного интеллекта. TheSequence - это информационный бюллетень, ориентированный на искусственный интеллект (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Полу-контролируемое обучение - одна из областей машинного обучения, которой в последние годы уделяется много внимания. Концептуально полу-контролируемое обучение - это разновидность контролируемого обучения, которая объединяет наборы данных с помеченными и немаркированными данными для обучения. Принцип полууправляемого обучения заключается в том, что использование небольшого количества помеченных посредством контролируемого обучения с большим объемом немаркированных данных посредством неконтролируемого обучения может дать лучшую точность, чем полностью контролируемые модели во многих сценариях. Несмотря на обещания, большинство методов обучения с учителем не принесли ощутимых преимуществ по сравнению с альтернативами с учителем. Частично проблема состоит в том, что методы полууправляемого обучения зависят от смоделированных помеченных / немаркированных данных путем разделения полностью аннотированного набора данных и, следовательно, могут быть ограничены сверху за счет полностью контролируемого обучения со всеми аннотациями. Другими словами, полу-контролируемое обучение будет так же хорошо, как эквивалентный полностью контролируемый метод обучения, работающий с помеченным набором данных.
Недавно команда Facebook из отдела исследований искусственного интеллекта (FAIR) опубликовала статью, в которой предлагал новый метод устранения некоторых ограничений традиционных методов обучения с полуконтролируемым обучением. Они назвали новый метод обучения с учителем.
Главный принцип, лежащий в основе омни-контролируемого обучения, заключается в использовании всех доступных помеченных данных в наборе обучающих данных плюс объемы немаркированных данных интернет-масштаба. В отличие от традиционных полууправляемых моделей, универсальное обучение ограничено более низкой производительностью обучения на полном помеченном наборе данных, и его успех можно оценить по тому, насколько оно превосходит полностью контролируемый базовый уровень. Единственный способ превзойти полностью контролируемую модель - создать большие обучающие данные из немаркированных наборов данных. Для этого команда FAIR предложила умный подход, называемый дистилляцией данных.
Введите дистилляцию данных
Успех омни-контролируемого обучения зависит от создания точных наборов обучающих данных из немаркированных данных. Методы дистилляции данных пытаются «извлечь» знания из немаркированных данных без необходимости обучения большого набора моделей. Концептуально дистилляция данных включает четыре этапа: (1) обучение модели на вручную размеченных данных (как при обычном обучении с учителем); (2) применение обученной модели к множественным преобразованиям немаркированных данных; (3) преобразование предсказаний для немаркированных данных в метки путем объединения множества предсказаний; и (4) переобучение модели на объединении помеченных вручную данных и автоматически помеченных данных.
1) Обучение с использованием помеченных данных. Этот шаг не требует пояснений. При использовании традиционного обучения с учителем при обучении с учителем модель обучается с использованием помеченного набора данных.
2) Вывод нескольких преобразований: на этом этапе одна и та же модель применяется к нескольким преобразованиям входных данных, а затем для агрегирования результатов. Окончательный результат, вероятно, улучшит производительность или исходные прогнозы.
3) Создание меток из немаркированных данных: на этом этапе объединяются результаты шага вывода с несколькими преобразованиями, чтобы получить одно предсказание, которое превосходит любое из прогнозов при одном преобразовании.
4) Извлечение знаний: на этом этапе используются новые знания, полученные из немаркированных данных, для улучшения модели. В частности, модель студента (которая может быть такой же, как исходная модель или отличаться от нее) обучается на объединении исходных контролируемых данных и немаркированных данных с автоматически сгенерированными метками.
Одним из ключевых вкладов подхода дистилляции данных является идея объединения результатов множественных преобразований для создания новых помеченных данных. Как мы все знаем, обучение модели на основе собственных прогнозов обычно приводит к переобучению. Применив несколько преобразований к помеченному набору данных, модели всенаправленного обучения показали, что они повышают свою точность при применении во время тестирования.
Всестороннее обучение в действии
Команда FAIR применила комплексное обучение к различным сценариям анализа изображений. Один примечательный тест использовал набор данных COCO для обнаружения ключевых точек на изображениях. В контролируемой модели использовался набор данных из 115 тыс. Помеченных изображений с аннотациями ключевых точек. Эквивалент дистилляции данных начался с того же набора данных, а затем был создан немаркированный набор данных путем выборки 1 кадра из 180 тыс. Видео из набора данных Sports-1M. Результаты не только показали, что метод дистилляции данных смог эффективно идентифицировать ключевые точки на немаркированных изображениях, но и превзошел по производительности эквивалентные контролируемые методы обучения с большими наборами данных.
Получение точных помеченных наборов данных - невероятно дорогостоящее занятие, и очень часто это не вариант во многих сценариях. Такие методы, как омни-контролируемое обучение, предоставляют альтернативу созданию моделей машинного обучения, которые создают точные знания с использованием немаркированных наборов данных. Надеемся, что скоро мы увидим примеры всенаправленного обучения, масштабно применяемого в решениях машинного обучения в Facebook.
