Онлайн-обучение - это метод машинного обучения, в котором данные доступны в последовательном порядке, и мы используем его для прогнозирования будущих данных на каждом временном шаге. Онлайн-глубокое обучение очень сложно, поскольку не может использовать обратное распространение.

Введение

Поскольку основная концепция глубоких нейронных сетей заключается в обучении посредством обратного распространения в пакетной настройке, данные должны быть доступны в автономном режиме. Как следствие, эта схема неактуальна для многих практических ситуаций, когда данные поступают последовательно и не могут быть сохранены. Например, акции, положение автомобиля и многое другое. ODL очень сложен, поскольку не может использовать обратное распространение. Два года назад Sahoo и др. (2018) рассмотрели разрыв между онлайн-обучением и глубоким обучением, заявив, что «без силы глубины было бы трудно изучить сложные шаблоны». Они представили новую основу для ODL (будет рассмотрен позже).

Обзор онлайн-обучения (OL)

OL - это метод машинного обучения, в котором данные доступны в последовательном порядке, и мы используем его для прогнозирования будущих данных на каждом временном шаге. Более того, в OL мы обновляем предсказатель в режиме реального времени. По словам Шаи Шалев-Шварц: «OL - это процесс ответа на последовательность вопросов при условии (возможно, частичного) знания правильных ответов на предыдущие вопросы и, возможно, дополнительной доступной информации». Семейство OL включает в себя выпуклую оптимизацию в режиме онлайн (которая приводит к эффективным алгоритмам), модель с ограниченной обратной связью, когда система отслеживает значение потерь, но не отслеживает фактическое реальное значение, и многое другое (я рекомендую прочитать ссылку [2] для получения дополнительной информации ).

В глубину

Ограничение обратного распространения и концепция «от мелкого к глубокому»

Онлайн-обучение может быть напрямую применено к глубоким нейронным сетям (обратное онлайн-распространение). Однако они страдают от многих проблем сходимости (исчезающий градиент и т. Д.). Более того, оптимальная глубина сети (обычно) неизвестна, что еще больше усложняет задачу. В последнее время в некоторых работах адаптировано понятие «от мелководья к глубокому». Согласно этой концепции, мелкие модели сходятся быстрее, чем более глубокие. Для реализации этой концепции функция стоимости управляет количеством слоев (Чен и др.). Есть много других концепций, но давайте остановимся на этой.

Эта и многие другие архитектуры предназначены для оптимизации функции затрат на основе сетевого выходного / самого глубокого уровня. Они не всегда могут давать хорошие результаты в сети, так как самый глубокий слой требует значительного времени для конвергенции. Для обсуждаемой концепции онлайн-обучения такой метод глубокого обучения, основанный на обратном распространении информации, не является оптимальным.

Обратное распространение хеджирования (HBP)

Известный метод был предложен Sahoo et al. В своей работе они предполагают, что при применении HBP глубина сети автоматически настраивается на основе самих данных. Такой подход к хеджированию имеет некоторые важные свойства, такие как: 1. Определите глубину сети в соответствии с характеристиками глубинного классификатора (Совет эксперта). 2. Инициализация с мелкой архитектурой нейронной сети - более надежная. 3. Это позволяет алгоритмам в реальном времени постоянно учиться и адаптироваться (больше доступных данных).

Следующие диаграммы были взяты из статьи Sahoo et al. И прекрасно описывают HBP:

Эта диаграмма описывает структуру глубокого обучения онлайн в контексте обратного распространения хеджирования. Синяя линия представляет поток с прямой связью, а зеленая линия представляет подход с обратной связью. Важная оранжевая линия представляет результат (softmax), за которым следует подход хеджирования во время прогнозирования. Более подробную информацию см. В исходном документе.

Автономное глубокое обучение

В январе (2020 г.) Ашфахани и Пратама опубликовали замечательную книгу под названием «Автономное глубокое обучение: подход непрерывного обучения для динамических сред». Они упомянули статический и автономный характер многих подходов к DL и предложили новый алгоритм непрерывного обучения, который определяет глубину сети помимо механизма идентификации дрейфа. Они предложили включить для каждого слоя слой softmax, который дает локальный вывод. Затем общий вывод рассчитывается с использованием динамического голосования. Авторы выделяют четыре основных вклада в свою модель: 1. Сетевая структура с разной глубиной (слой softmax в каждом скрытом слое). 2. Автоматически создавать новые скрытые узлы. 3. Глубина адаптации сети на основе обнаружения дрейфа. 4. Активируйте новую информацию, пересматривая старую информацию. Это могло бы решить «проблему катастрофического забывания».

Подводя итог концепции ADL, адаптация ширины схемы основана на оценке дисперсии и смещения, в то время как глубина определяется в соответствии с методом обнаружения дрейфа (как показано на рисунке выше).

QActor: активное онлайн-обучение для данных Strem с зашумленными метками

Последняя тема, которую я хочу обсудить, - это шумные проблемы из реальной жизни. Недавно была опубликована работа Т. Юнесиана и др. (2020). Он решает проблему сетевых данных с зашумленными метками, которые могут снизить производительность любой системы ODL. В этой работе они сосредоточились на потоковой передаче данных с очень шумными метками, где более половины меток ошибочны. Основная проблема состоит в том, чтобы выбрать информативные данные для включения в обучающую рамку. Алгоритм онлайн-активного обучения, разработанный QActor, сочетает активное обучение с определенной моделью качества. Эта модель отфильтровывает зашумленные метки на основе различных неопределенных мер. Это обзор рабочего процесса исходной статьи:

Резюме

Подводя итог, можно сказать, что область глубокого онлайн-обучения является довольно новой и страдает от многих нетрадиционных проблем, таких как обратное распространение в автономных настройках, с которыми мы все знакомы и которые должны подходить для онлайн-настроек. Мы обсудили некоторые недавние подходы к решению этих проблем, такие как автономное глубокое обучение, обратное распространение хеджирования и многое другое. Наконец, мы упомянули проблему зашумленных примеров с пометками в онлайн-настройках.

Чтобы узнать больше, подписывайтесь на меня и не забывайте хлопать в ладоши!

— — — — — — — — — — — — — — — — — — — — — — — — —

об авторе

Барак Ор получил степень бакалавра наук. (2016), M.Sc. (2018) степени в области аэрокосмической техники, а также степень бакалавра наук. по экономике и менеджменту (2016, диплом с отличием) Техниона, Израильского технологического института. Он работал в Qualcomm (2019–2020 гг.), Где в основном занимался машинным обучением и алгоритмами обработки сигналов. В настоящее время Барак учится на докторскую степень. в Университете Хайфы. Его исследовательские интересы включают сочетание сенсоров, навигацию, глубокое обучение и теорию оценки.

Посетите мой личный сайт: www.Barakor.com

Linkedin https://www.linkedin.com/in/barakor/

Twitter: BarakOr2

— — — — — — — — — — — — — — — — — — — — — — — — —

Ссылка

[1] D. Sahoo et al. «Глубокое обучение в Интернете: изучение глубоких нейронных сетей на лету». Школа информационных систем Сингапурского университета менеджмента. ArXiv, 2018.

[2] Шалев-Шварц, Шай. «Онлайн-обучение и онлайн-выпуклая оптимизация». Основы и тенденции® в машинном обучении 4.2 (2012): 107–194.

[3] Chen et al. «Net2net: ускорение обучения за счет передачи знаний». Препринт arXiv arXiv: 1511.05641 (2015). ICLR (2016).

[4] Н. Гравин и др. «На пути к оптимальным алгоритмам прогнозирования с советами экспертов». ArXiv, 2014.

[5] А. Ашфахами и М. Пратама. «АВТОНОМНОЕ ГЛУБОКОЕ ОБУЧЕНИЕ: ПОДХОД К НЕПРЕРЫВНОМУ ОБУЧЕНИЮ В ДИНАМИЧЕСКИХ СРЕДАХ». ArXiv, 2020.

[6] B.Bfulb et al. «Катастрофическое забывание: все еще проблема для DNN», ArXiv 2019.

[7] Т. Юнесиан. «QActor: онлайн-активное обучение для потоковых данных с зашумленными метками». ArXiv, 2020.