Метаобучение — это не отдельная дисциплина, а скорее разные типы методов, которые могут извлекать знания из алгоритмов обучения.
Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, у которого уже более 125 000 подписчиков. TheSequence — это информационный бюллетень, ориентированный на машинное обучение, без BS (то есть без шумихи, без новостей и т. д.), чтение которого занимает 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов машинного обучения, научных работ и концепций. Пожалуйста, попробуйте, подписавшись ниже:
Метаобучение — одна из самых активных областей исследований в области глубокого обучения. Некоторые школы мысли в сообществе искусственного интеллекта (ИИ) придерживаются тезиса о том, что метаобучение является одним из шагов на пути к раскрытию общего искусственного интеллекта (ИИА). В последние годы мы наблюдаем бурный рост исследований и разработок методов метаобучения. Тем не менее, некоторые из основных идей, лежащих в основе метаобучения, до сих пор неправильно понимаются учеными и инженерами по обработке и анализу данных. С этой точки зрения я подумал, что было бы неплохо рассмотреть некоторые фундаментальные концепции и историю метаобучения, а также некоторые популярные алгоритмы в этой области.
Идеи, лежащие в основе метаобучения, можно проследить до 1979 года и работы Дональда Б. Модсли, когда он упомянул новую когнитивную парадигму как «процесс, посредством которого учащиеся осознают и все больше контролируют привычки восприятия, исследование, обучение и рост, которые они усвоили». Более простое определение можно найти в работах Джона Биггса (1985), в которых он определил метаобучение как «осознание собственного обучения и контроль над ним». Эти определения точны с точки зрения когнитивной науки, но их сложно адаптировать к работе искусственного интеллекта (ИИ).
В контексте систем ИИ метаобучение можно просто определить как способность приобретать разносторонние знания. Как люди, мы можем выполнять несколько задач одновременно с минимумом информации. Мы можем распознать новый тип объекта, увидев его одно изображение, или мы можем научиться сложным, многозадачным действиям, таким как вождение или пилотирование самолета, одновременно. Хотя агенты ИИ могут справляться с действительно сложными задачами, им требуется огромное количество тренировок для любых атомарных подзадач, и они по-прежнему невероятно плохо справлялись с многозадачностью. Таким образом, путь к универсальности знаний требует, чтобы агенты ИИ «научились учиться» или, если использовать более неприятный термин, метаобучались Дж.
Типы моделей метаобучения
Люди учатся, следуя различным методологиям, адаптированным к конкретным обстоятельствам. Точно так же не все модели метаобучения следуют одним и тем же методам. Некоторые модели метаобучения ориентированы на оптимизацию структур нейронных сетей, в то время как другие (например, Reptile) больше сосредоточены на поиске правильных наборов данных для обучения конкретных моделей. Недавняя исследовательская работа Лаборатории искусственного интеллекта Калифорнийского университета в Беркли подробно описывает различные типы метаобучения. Вот некоторые из моих любимых:
Мета-обучение «Несколько выстрелов»
Идея метаобучения по нескольким кадрам состоит в том, чтобы создать глубокие нейронные сети, которые могут учиться на минималистичных наборах данных, имитируя, например, то, как дети могут научиться идентифицировать объекты, видя только одну или две картинки. Идеи метаобучения в несколько выстрелов вдохновили на создание таких методов, как нейронные сети с дополненной памятью или одноразовые генеративные модели.
Мета-обучение оптимизатора
Модели метаобучения оптимизатора ориентированы на изучение того, как оптимизировать нейронную сеть для лучшего выполнения задачи. Эти модели обычно включают нейронные сети, которые применяют различные оптимизации к гиперпараметрам другой нейронной сети, чтобы улучшить целевую задачу. Отличным примером метаобучения оптимизатора являются модели, ориентированные на улучшение методов градиентного спуска, подобные модели, опубликованной в этом исследовании.
Метричное метаобучение
Цель метрического метаобучения состоит в том, чтобы определить метрическое пространство, в котором обучение особенно эффективно. Этот подход можно рассматривать как подмножество нескольких кадров метаобучения, в которых мы использовали изученное метрическое пространство для оценки качества обучения на нескольких примерах. Эта исследовательская работа показывает, как применять метрическое метаобучение к задачам классификации.
Метаобучение рекуррентной модели
Этот тип модели метаобучения адаптирован для рекуррентных нейронных сетей (RNN), таких как долговременная кратковременная память (LSTM). В этой архитектуре алгоритм метаобучения будет обучать модель RNN, будет последовательно обрабатывать набор данных, а затем обрабатывать новые входные данные из задачи. В настройке классификации изображений это может включать последовательную передачу набора пар (изображение, метка) набора данных, за которым следуют новые примеры, которые необходимо классифицировать. Мета-обучение с подкреплением является примером такого подхода.
Важность метаобучения неуклонно растет по мере перехода глубокого обучения к моделям без учителя. Если мы сможем обобщить процесс обучения для изучения новых задач, тогда идея ОИИ вдруг станет более прагматичной. Однако, как и люди, модели ИИ обнаруживают, что научиться учиться сложнее, чем просто учиться.
