Мысли и теория

Глубокое обучение на протяжении всей жизни - черпаем вдохновение из человеческого мозга

Воспроизведение механизмов обучения из человеческого мозга для предотвращения катастрофического забывания в глубоких нейронных сетях

Живые существа постоянно приобретают и совершенствуют знания и навыки, адаптируясь к новым условиям, обстоятельствам и задачам. Эта способность, возможно, является причиной того, что мы, как вид, все еще живы. Согласно теории эволюции Дарвина, более высокие шансы на выживание принадлежат не сильнейшим, а наиболее приспособленным.

В отличие от животных, которые способны адаптироваться на протяжении всей своей жизни, многие алгоритмы машинного обучения, в том числе нейронные сети, фиксируются в течение их жизни, что ограничивает их варианты использования. Модель обучается один раз с параметрами, замороженными во время вывода.

Однако в реальных моделях будет полезно иметь возможность эффективно обрабатывать потоки информации, изучать несколько задач и иметь дело с неопределенностью во входных данных.

Попытки расширить знания обученной нейронной сети часто приводят к катастрофическому забыванию, когда информация, полученная на более ранних этапах обучения, теряется. Проблема особенно заметна, когда в новых данных присутствует дрейф понятий, то есть распределение обучающих данных значительно меняется со временем.

Область непрерывного обучения (непрерывного / последовательного / инкрементального) связана с разработкой методов и архитектур, позволяющих моделям учиться последовательно без необходимости повторного обучения с нуля.

Интересно, что у людей не происходит катастрофического забывания, когда мы узнаем что-то новое - посещение курсов вождения не приводит к тому, что мы забываем, как ездить на велосипеде. Из-за великолепия мозга животных, пожалуй, неудивительно, но, тем не менее, увлекательно, что многие успешные методы обучения на протяжении всей жизни, черпающие вдохновение в природе, воспроизводят биологические процессы, происходящие в мозгу животных.

Эта статья представляет собой краткое изложение и введение в концепции и проблемы, связанные с обучением на протяжении всей жизни. Сначала я расскажу о примерах использования, а затем расскажу о биологических факторах, влияющих на процессы обучения в человеческом мозге, и об их сходстве с методами обучения на протяжении всей жизни.

Возможные варианты использования и мотивация

Чтобы лучше понять масштабы проблем, которые решает непрерывное обучение, и потенциальных ловушек, давайте рассмотрим несколько практических примеров, когда обучение на протяжении всей жизни может оказаться полезным.

Чат-бот. Представьте, что вы создаете чат-бота онлайн-помощника для банка. Бот достаточно хорошо обучен разговаривать на темы, которые ему уже были затронуты. Однако банк решает расширить свои услуги за счет новой линейки кредитных карт. По запросу клиента о новом сервисе чат-бот будет отмечать тему, которую он раньше не видел, и переводить клиентов оператору. Затем оператор разговаривал с клиентом.

Модель с возможностью обучения во время развертывания будет изучать новую тему из этого нового разговора клиента с оператором без необходимости повторного обучения с нуля по всей базе разговоров, что экономит время и деньги.

Производственная линия: кондитерская фабрика, производящая красные и синие конфеты, решает расширить свою производственную линию за счет новых зеленых конфет. В течение большей части времени конфеты перемешиваются, однако их необходимо рассортировать для упаковки. Эта часть цепочки основана на алгоритме классификации компьютерного зрения. Теперь алгоритм сортировки необходимо расширить для классификации нового цвета без необходимости повторного обучения с нуля. Этот случай более сложен, чем чат-бот, поскольку нам также потребуется расширить модель с новым выходом и, таким образом, изменить структуру сети.

Можем ли мы просто сделать обратный проход, пока модель развернута?

Короткий ответ - да, можем. Но мы также рискуем испортить веса сетей и потерять знания, полученные на основном этапе обучения. Без дополнительных механизмов нейронные сети склонны забывать ранее полученные знания. Но что именно это означает и почему это происходит?

Нейронные сети имеют ограниченные ресурсы (веса), которые могут быть довольно эффективно настроены на конкретную задачу, если подвергаться этой задаче снова и снова. Но поскольку эти ресурсы ограничены, новые знания либо сжимают и обогащают старые знания, либо вытесняют их.

Рассмотрим, например, сеть, которая учится предсказывать возраст собак (может быть очень полезна для приютов для животных). Сеть будет кодировать особенности, возможно, связанные с относительным положением и пропорциями лицевых элементов собаки (мы обучались только на хаски и немецких овчарках). Потеря будет направлять градиенты веса в сторону локальных минимумов для задачи определения возраста этих двух пород. Если бы мы расширили сеть за счет большего количества пород (например, Йорки), мы потенциально могли бы избежать проблем с обучением, которые являются общими для всех собак. Однако, если бы мы сейчас расширили сеть до определения возраста домашних попугаев, потеря подтолкнула бы градиенты к особенностям, важным для возраста попугаев. Интуитивно они будут очень отличаться от функций, требуемых для собак. И если в сети больше не будут появляться изображения хаски, йорков и овчарок, мы столкнемся с катастрофическим забвением - утратой всех полученных знаний о возрасте собак.

Подводя итог, можно сказать, что постоянное получение постепенно доступной информации из нестационарных распределений данных приводит к катастрофическому забыванию или помехам в нейронных сетях. Новая информация заменяет предыдущие знания в общих представлениях. При автономном обучении эта потеря восстанавливается, поскольку перемешанные примеры перетасовываются и повторяются.

Биологические концепции обучения

Как следует из названия, «нейронные сети», некоторые механизмы в этих моделях уже были созданы мозгом животных. Возможно, наш мозг также содержит подсказку, которая может быть ключом к предотвращению катастрофического забывания в глубинных моделях?

Наш мозг постоянно учится и запоминает. В процессе эволюции эти функции были усовершенствованы, чтобы соответствовать нашей повседневной жизни, без внезапных сбоев после изучения нового слова или навыка. Два основных механизма в нашем мозгу, которые имеют отношение к способу обучения нейронных сетей, - это дилемма стабильности-пластичности и теория дополнительных обучающих систем. Оба могут дать нам подсказки о том, как предотвратить катастрофическое забывание и разработать эффективные алгоритмы для непрерывного обучения.

Дилемма стабильности и пластичности

Стабильность относится к способности мозга сохранять новые знания, а пластичность относится к способности приобретать новые знания.

Мозг особенно пластичен в критические периоды раннего развития. Вы могли заметить, что дети учатся очень быстро, но они почти так же быстро забывают. Трудно удержать знания в раннем возрасте - когда система постоянно меняется в поисках наиболее важных сигналов. Вот почему повторение нового материала является ключевым в обучении детей. Сколько раз вы слышали, как детей спрашивают: «Что говорит кошка?».

Пластичность становится менее заметной по мере стабилизации биологической системы, мы становимся более зависимыми от полученных знаний и действуем на основе опыта. Тем не менее мозг сохраняет определенную степень пластичности для адаптации и реорганизации в меньших масштабах.

Теория дополнительных систем обучения (CLS)

Теория обобщает нейронные механизмы формирования памяти. Он основан на различении дополнительных ролей гиппокампа и неокортекса в процессах обучения и формирования памяти.

В рамках формирования памяти система гиппокампа отвечает за краткосрочную адаптацию и быстрое усвоение новой информации. В то время как неокортикальная система, с другой стороны, предназначена для длительного хранения, ее очень трудно перезаписать, она имеет медленную скорость обучения и предназначена для изучения общих сведений.

Система гиппокампа быстро кодирует эпизодические события, которые затем многократно воспроизводятся с течением времени в неокортикальной системе для их долгосрочного сохранения. Считается, что объединение недавних воспоминаний в долговременное хранилище происходит во время сна с быстрым движением глаз (REM).

Непрерывное обучение в нейронных сетях

Механизмы, разработанные для борьбы с катастрофическим забыванием, действительно черпают вдохновение в природе - как теория дополнительного обучения, так и дилемма стабильности-пластичности. Не все распространенные методы, описанные ниже, работают хорошо, однако их проверка также была важна, чтобы найти верный путь для продвижения вперед.

Я даю ссылки на литературу, использованную в сводном разделе ниже.

Методы воспроизведения

Методы воспроизведения основаны на многократном воздействии на модель новых данных и данных, на которых она уже была обучена, - когда к ним есть доступ. Новые данные чередуются с уже увиденными примерами в пакете и передаются на этап обучения модели. В простейшем случае в каждом новом пакете случайным образом отбираются старые данные.

Несмотря на простоту, у этого метода есть несколько недостатков:

  • Какова лучшая стратегия эффективного выбора примеров для репетиции? Некоторые из уже увиденных примеров более информативны, чем другие. Здесь наиболее распространенные стратегии ищут более информативные образцы или те, которые представляют среднее значение характеристик, изначально изученных с помощью метода.
  • Видя только часть обучающих данных, также возникает проблема, как гарантировать, что модель не переоборудуется? Предлагаемые здесь методы основаны на регуляризации.
  • Найти соотношение новых и старых образцов в партии тоже нетривиально.

В целом эти методы воспроизведения обеспечивают незначительный прирост производительности за счет более длительного времени обучения и больших требований к памяти.

Методы, основанные на регуляризации

В отличие от репетиционных методов, методы регуляризации снимают проблему повышенных требований к памяти. Они сосредоточены на разработке термина потерь, который объединит все ранее полученные знания.

Предыдущие модели оценивают распределение параметров модели и не позволяют модели слишком сильно отклоняться от него при представлении новых данных.

Перераспределение ресурсов

Вместо того, чтобы подвергать модель уже просмотренным данным или консолидировать знания в условиях потерь, мы вместо этого могли бы эффективно использовать доступные сетевые ресурсы для предотвращения перезаписи критических областей или вместо этого расширить сеть, чтобы обеспечить больше вычислений / хранилищ. Космос.

Никаких дополнительных ресурсов: если мы не можем расширить сеть, добавляя новые веса, т. е. ресурсы фиксированы, модель может использовать неперекрывающиеся представления для различных концепций. Этот тип методов также называется методами изоляции параметров.

Важные для данной задачи / класса параметры изолированы и заморожены. Подобно дилемме стабильности-пластичности, Упругая консолидация веса замедляет обучение на частях модели, жизненно важных для ранее изученных задач, в то время как Постепенное согласование моментов (IMM) соответствует моментам распределения параметров двух сетей, обученных на разделите задачи в единой архитектуре, чтобы зафиксировать знания, полученные обоими, предотвращая катастрофическое забывание.

С дополнительными ресурсами: если бы у нас была возможность расширить сеть, мы также могли бы выделить дополнительные нейронные ресурсы для новых знаний. В этой конфигурации можно напрямую обучаться на новых примерах без необходимости чередования с исходным набором данных, однако этот подход, очевидно, требует больших требований к памяти - в простейшем случае мы будем добавлять новую нейронную сеть для каждой порции новых знаний.

Резюме

Изучение алгоритмов непрерывного обучения имеет огромное значение, если мы хотим сделать еще один скачок в искусственном интеллекте. Особенно с развитием футуристических AutoML и AutoAI. Вот почему мы видим все больше и больше публикаций, особенно от ведущих исследовательских институтов, таких как DeepMind.

Непрерывное обучение - все еще довольно новая тема. И хотя в нескольких обзорных статьях представлен довольно всесторонний обзор того, что было достигнуто на сегодняшний день:

постоянно меняющиеся требования довольно быстро устаревают. Отсутствие стандартизированных протоколов и наборов данных также затрудняет оценку различных стратегий. Однако, как мы знаем из других областей, эта область скоро станет зрелой.

Если вам понравилась эта статья, поделитесь ею с другом! Чтобы узнать больше о машинном обучении и обработке изображений, нажмите «подписаться»!

Я что-нибудь пропустил? Не стесняйтесь оставлять заметки, комментарии или сообщения мне напрямую!