Почему самоконтролируемое обучение?
Контролируемое обучение
Чтобы поговорить об обучении с самоконтролем, во-первых, нам нужно вспомнить, что мы делаем при обучении модели. Мы используем размеченные данные для обучения модели достижению задачи классификации или регрессии путем итеративной минимизации результатов прогнозирования между выходной меткой. Повторяя процесс контролируемого обучения, мы видим, что производительность модели сильно зависит от количества и качества обучающего набора данных.
Если у нас мало данных о нашем домене
Не всегда легко получить огромное количество размеченных наборов данных, и это может стоить много времени и денег, если это требуется в конкретном домене.
Перенос обучения
Чтобы решить проблему отсутствия помеченного набора данных в нашей области, здесь используется подход, называемый трансферным обучением. Во-первых, мы можем обучить нашу модель на большом размеченном наборе данных, который существует, но некоторые из них связаны с нашей областью. Затем мы используем нашу хорошую модель обучения, чтобы переобучить ограниченное количество набора данных, исправив нижний уровень модели. Этот процесс называется тонкой настройкой. Идея этого заключается в том, что модель может научиться извлекать признаки из существующих больших наборов данных и подгонять результат к нашей области. Это также может помочь избежать переобучения, если мы будем обучать нашу модель непосредственно на небольшом наборе данных предметной области.
Но очевидно, что никакой необходимый набор данных, используемый предварительно обученной моделью, не имеет прямого отношения к нашей предметной области. Здесь возникает идея: «Что, если мы обучим нашу модель перед обучением на немаркированном наборе данных?».
Что такое самоконтролируемое обучение?
Что, если данные, которые мы извлекаем из предварительно обученной модели, не нужно маркировать
Это обещание обучения с самостоятельным наблюдением: получить гигантский немаркированный набор данных во многих областях намного проще.
Как работает самоконтролируемое обучение?
Мы берем неразмеченные данные и заставляем модель изучать представление функций из данных, которые нам в основном важны. Цель состоит в том, чтобы получить хорошее представление функций, которое мы можем повторно использовать для точной настройки последующей задачи.
Как модель учится на основе данных?
Хорошим примером для изучения хорошего представления является то, что у нас есть изображения, которые мы поворачиваем на несколько градусов, и мы позволяем нашей модели учиться предсказывать, на какой градус поворачиваются изображения.
Классифицируя степень вращения, модель должна изучить представление изображения, например, ноги должны сцепляться с телом или голова должна быть впереди тела.
Преимущество самостоятельного обучения
Данные о шуме получить намного проще, чем данные с формальными метками. Домен, такой как НЛП, должен предварительно обучать модель из одного горячего вектора, это означает, что набор данных, который у нас есть, является дискретным от всех его векторных элементов, а не как набор данных изображения. Представление признаков больше похоже на непрерывный вектор математического значения. Чтобы преобразовать вектор из дискретного в непрерывный, требуется гораздо больше данных, потому что элементы в одном горячем векторе не представляют никакой причинно-следственной связи между собой, это означает, что нам нужно подготовить большие данные о процессе обучения, чтобы дать модели больше информации, это зачем нам нужно самоконтролируемое обучение.
ссылка: https://www.youtube.com/watch?v=bfCs3wqRSQY
