Память - один из новых компонентов глубоких нейронных сетей, прочно укоренившихся в нейробиологии и теории психологии.
Недавно я начал новый информационный бюллетень, посвященный образованию в области искусственного интеллекта. TheSequence - это информационный бюллетень, ориентированный на искусственный интеллект (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Моделирование памяти - активная область исследований в области глубокого обучения. В последние годы такие методы, как нейронные машины Тьюринга (NTM), достигли значительного прогресса, заложив основу для построения структур памяти, подобных человеку, в системах глубокого обучения. Раньше я подробно писал о роли памяти в искусственном интеллекте (ИИ), поэтому я не собираюсь утомлять вас повторением одних и тех же соображений. Вместо этого я хотел бы подойти к этому вопросу с другой стороны и попытаться ответить на три фундаментальных вопроса, которые мы должны иметь в виду, размышляя о памяти в моделях глубокого обучения:
а) Что делает память таким сложным предметом в системах глубокого обучения?
б) Где мы можем черпать вдохновение в архитектуре памяти?
c) Какие основные методы используются для представления воспоминаний в моделях глубокого обучения?
Чтобы эффективно ответить на первые два вопроса, мы должны взглянуть как на биологическую, так и на психологическую теории памяти. Это должно привести нас к двум школам мысли, которые больше всего повлияли на наши знания о памяти: нейробиологии и когнитивной психологии. Следуя той же тенденции, мы собираемся разделить это эссе на три основные части. Первая часть объяснит нейробиологическую теорию памяти. Во второй части мы рассмотрим память с точки зрения когнитивной психологии, а заключительный сегмент будет посвящен тому, как глубокое обучение черпает вдохновение из этих дисциплин для включения памяти в нейронные сети. Итак, давайте начнем с того места, где создаются воспоминания: человеческого мозга.
Неврологическая теория памяти
Понимание того, как создаются и иногда уничтожаются воспоминания, а также различия между долгосрочными и краткосрочными воспоминаниями были важной областью исследований в области нейробиологии в последнее десятилетие. Один из знаковых субъектов, вдохновивших этот уровень исследований, был известен как пациент HM.
Генри Густав Молезон (HM) в возрасте девяти лет пострадал в результате несчастного случая, в результате которого он регулярно испытывал судороги в течение следующих лет. В 1952 году в возрасте двадцати пяти лет Х.М. перенес операцию, чтобы облегчить симптомы. Первоначально процедура считалась успешной, пока врачи не обнаружили, что они случайно перерезали часть гиппокампа HM. в результате HM не смог сохранить новые воспоминания.
Идея жить без новых воспоминаний - это аналог постоянной жизни в настоящем. Поверьте мне, я говорю не о способе осознанности, а о том, как вы не можете связать недавнее событие в прошлом или представить себе событие в будущем. Пациент Х.М. проводил свой день, сохраняя информацию только в течение нескольких минут, приветствуя одних и тех же людей и задавая одни и те же вопросы снова и снова. Случай с HM сыграл решающую роль в том, чтобы помочь нейробиологам понять, как создаются, хранятся и вызываются воспоминания.
Современная нейробиологическая теория памяти включает в себя три основные области мозга: таламус, префронтальную часть; кора и гиппокамп. Таламус можно рассматривать как маршрутизатор, который обрабатывает сенсорную информацию (зрение, прикосновение, речь) и передает ее на сенсорные доли мозга для оценки. Оцениваемая информация в конечном итоге достигает префронтальной коры головного мозга, где она входит в наше сознание, образуя кратковременные воспоминания. Информация также отправляется в гиппокамп, который распределяет различные фрагменты по разным кортикам мозга, формируя долговременные воспоминания. Одна из самых больших проблем сегодняшней нейробиологии - понять, как эти разрозненные фрагменты воспоминаний могут быть собраны в целостные воспоминания. В нейробиологии это известно как «проблема связывания».
Проблема привязки
Проблема связывания, которая считается одним из самых загадочных аспектов нейробиологической теории памяти, ставит под сомнение концепцию воссоздания воспоминаний из другой сенсорной информации. Получите опыт посещения концерта с любимым человеком. Воспоминания о событии будут разбиты и сохранены в разных областях мозга. Однако достаточно одного опыта, например, прослушивания мелодии той же группы или наблюдения за танцующей женой, чтобы полностью вспомнить эту концепцию. Как это возможно?
Одна теория, которая решает проблему связывания, гласит, что фрагменты памяти связаны электромагнитными колебаниями, которые постоянно проходят через мозг. Вибрации создают временную (а не пространственную) связь между фрагментами памяти, позволяя им активироваться вместе как связная память.
Теория памяти нейробиологии дает нам основу для понимания некоторых из основных компонентов интеллектуальной архитектуры памяти. Однако человеческая память является не только побочным продуктом компонентов мозга, но также находится под сильным влиянием контекстных обстоятельств. Это будет тема следующего поста.
Когнитивная психология Теория памяти
«Проблема связывания» нейробиологической теории памяти объясняет, как разрозненные фрагменты памяти могут быть вызваны в сплоченные воспоминания. Оказывается, чтобы объяснить проблему связывания, нам нужно выйти за пределы архитектуры нашего мозга и оценить всевозможные психологические элементы контекста, которые глубоко влияют на то, как вызываются воспоминания. Одна из основных теорий когнитивной психологии, которая пытается объяснить ассоциативную природу памяти, известна как эффект прайминга.
Ассоциативная память и эффект прайминга
Как и все хорошие теории когнитивной психологии, давайте попробуем объяснить эффект прайминга в контексте экспериментов. Подумайте о первом, что приходит в голову, когда вы слышите слово УЖИН. Было ли это вино? (Для меня это было), десерт? Может, субботнее свидание? Как видите, такая простая вещь, как слово, может вызывать смешанный набор эмоций и даже другие связанные слова. Мы эффективно вспоминаем связанные воспоминания.
Один из самых замечательных результатов предыдущих экспериментов - заметить, насколько быстро вы смогли восстановить эти связанные слова или воспоминания. Это происходит потому, что связанные воспоминания являются частью того, что лауреат Нобелевской премии по экономике Дэниел Канехман называет Системой 1; они происходят быстро и вызывают ряд связанных эмоциональных и физических реакций. В психологии феномен такого типа известен как ассоциативно связный.
Возвращаясь к нашей игре в слова; тот факт, что слово УЖИН вызывает идею ВИНА или ДЕСЕРТА, известен как эффект прайминга в том смысле, что «обед питает десерт». Прайминг играет важную роль в объяснении того, как работает память. Эффект прайминга распространяется не только на слова, но и на эмоции, физические реакции, инстинкты и другие когнитивные явления. В контексте памяти эффект прайминга говорит нам, что воспоминания вызываются не только связанными идеями, но и «подготовленными идеями».
Эвристика доступности
Другой важный элемент теории памяти когнитивной психологии касается того, как мы вспоминаем частоту событий. Например, если я спрошу вас «сколько концертов вы посетили за последнее десятилетие? « вы, вероятно, переоцените число, если ответ покажется вам плавным или если вы недавно обратились к проблеме. В противном случае, если вам не понравился ваш последний концерт, цифра может быть слишком низкой. Этот когнитивный процесс известен как эвристика доступности и объясняет, как быстрое получение ответа сильно влияет на наши воспоминания.
К настоящему времени у нас есть представление о том, как мы можем думать о памяти в контексте мозга (нейробиология) и наших социальных условий (когнитивная психология). Как эти теории имитируются в алгоритмах глубокого обучения?
Память и глубокое обучение
Из теорий воспоминаний нейробиологии и когнитивной психологии мы знаем, что любая система искусственной памяти должна иметь определенный набор характеристик, чтобы напоминать человеческую память.
а) Разделите память на сегменты, которые описывают разные области знаний
б) Соберите разрозненные сегменты в целостные информационные структуры.
c) Получение данных на основе контекстной и не связанной напрямую информации, а также ссылок на внешние данные
Никакая дисциплина в области компьютерных наук не может принести больше пользы от системы памяти, подобной человеческой, чем глубокое обучение. С самого начала в области глубокого обучения предпринимались попытки моделировать системы, имитирующие некоторые ключевые характеристики человеческой памяти.
Глубокое обучение и явная память
Чтобы понять важность памяти в моделях глубокого обучения, мы должны различать концепции неявного и явного знания. Неявные знания обычно подсознательны и, следовательно, их трудно объяснить. Мы можем найти примеры неявного знания в таких областях, как анализ речи и зрения, например, распознавание обезьяны на картинке или тон и настроение в произнесенном предложении. В отличие от этой модели, явное знание легко моделируется декларативно. Например, понимание того, что обезьяна - это разновидность животного или что некоторые прилагательные являются оскорбительными, являются классическими примерами явного знания. Мы знаем, что алгоритмы глубокого обучения достигли невероятных успехов, представляя неявные знания, но им все еще трудно моделировать и «запоминать» явные знания.
Что делает явное знание таким сложным в контексте алгоритмов глубокого обучения? Если вы подумаете о традиционной архитектуре нейронных сетей с миллионами взаимосвязанных узлов, мы поймем, что им не хватает эквивалента системы рабочей памяти, которая может хранить фрагменты предполагаемых частей знаний и их взаимосвязи, чтобы к ним можно было легко получить доступ из разных слои в сети. Недавно были созданы новые методы глубокого обучения для устранения этого ограничения.
Нейронные машины Тьюринга
Быстрая эволюция алгоритмов глубокого обучения вызвала потребность в системах памяти, которые могут напоминать характеристики человеческой памяти при обработке явных знаний. Один из самых популярных методов в области моделирования памяти известен как нейронные машины Тьюринга (NTM) и был представлен DeepMind в 2014 году.
NTM работает, расширяя глубокую нейронную сеть ячейками памяти, которые могут хранить полные векторы. Одно из величайших нововведений NTM - использование эвристики для чтения и записи информации. Например, NTM реализует механизм, известный как адресация на основе содержимого, который может извлекать векторы на основе входных шаблонов. Это похоже на то, как люди вспоминают воспоминания, основанные на текстовых переживаниях. Кроме того, NTM включает механизм для увеличения заметности ячеек памяти в зависимости от того, как часто они вызываются.
NTM - не единственный метод, который позволяет использовать возможности памяти в системах глубокого обучения, но, безусловно, один из самых популярных. Имитация биологических и психологических функций человеческой памяти - непростая задача, которая стала одним из важнейших направлений исследований в области глубокого обучения.
