Я только что прочитал «Тысячу мозгов» нейробиолога Джеффа Хокинса. В нем он описывает, как неокортексальная область мозга, область, наиболее тесно связанная с тем, что мы называем «разумом», хранит и обрабатывает данные, и как мы можем надеяться воспроизвести их. Я не буду здесь вдаваться в подробности нейробиологии, но в конце концов он бросает перчатку ученым, занимающимся искусственным интеллектом, говоря, что то, что вы делаете с искусственными нейронными сетями (ИНС), неправильно. ИНС не представляют реальную структуру мозга, и если вы хотите правильно представить интеллект, вам понадобится следующее. Ниже я опишу приблизительную версию этого списка. Затем он продолжает тщательно показывать, как мозг представляет следующие элементы, и убедительно доказывает, что все, что мы строим, чтобы иметь что-то похожее на человеческий интеллект, будет нуждаться в них.

В этом посте я объясню список, который он предлагает по мере необходимости, каков его подход, каков был мой подход, как инстинктивная реакция, прежде чем я узнал о его подходе, и, наконец, какова точка зрения Джеффри Хинтона. подход есть. Да, отец современного глубокого обучения в этом рэкете.

Перефразированный список вещей, необходимых для AGI, выглядит следующим образом:

  1. Онлайн обучение
  • В системе не может быть отдельных этапов обучения и этапов развертывания.
  • Вы также должны иметь возможность полностью обрезать, а также формировать совершенно новые связи между нейронами.

2. Обучение через движение

  • Система должна иметь возможность перемещаться по базе знаний или среде и учиться на основе своего окружения, сохраняя данные из этой среды в систему отсчета, которая представляет собой пространство, которое только что прошел агент. (Подробнее о том, что такое система отсчета, позже)

3. Прогноз следующего состояния

  • Вам нужен какой-то метод вашей модели, предсказывающий следующее состояние мира и обновляющий это состояние, если прогноз неверен.

4. Много моделей

  • У вас не может быть только одной модели. Избыточность позволяет локальным сбоям и многим моделям предсказывать одно и то же с разными входными данными, в книге первичные чувства, осязание, слух и т. д. перечислены как эти входные данные, но они также могут стать функциями более высокого измерения.
  • Другое использование множества моделей заключается в том, что они могут голосовать за фактическое представление. Когда у разных людей разные внутренние модели, они могут «видеть», иногда буквально, разные вещи.

5. Системы отсчета.

  • Все знания должны быть представлены относительным образом. Он указывает, что у людей есть две системы отсчета: что и где. Система отсчета «где» строит отношение того, где находятся вещи по отношению к самому агенту. Система отсчета «что» отображает, где знание, связанное с этой вещью, связано с другими частями знания.
  • Эти системы отсчета должны быть иерархическими. Система отсчета должна состоять из нескольких других меньших систем отсчета.

Если вам нужны подробности и посмотреть другой дубль, вы можете прочитать книгу¹ или ознакомиться с этим⁴ описанием Numenta от Винченцо Ломонако.

Когда я увидел этот список, моей первой реакцией было сказать: «Ну, мы могли бы сделать все это с помощью множества небольших нейронных сетей с подкреплением (RNN)». Вы можете сопоставить этих учеников с двумя скрытыми пространствами, одно для «что», другое для «где», и вы обучаете каждую RNN на части состояния мира. Когда обнаруживается что-то новое, как определено каким-либо неконтролируемым классификатором, создается новая RNN, веса которой определяются ее соседями в скрытом пространстве. Чтобы справиться с иерархией, создайте каждую из этих RNN на основе недавней работы по иерархическому обучению с подкреплением. Затем вы можете смоделировать состояние мира с помощью любой модели, которую вы сейчас используете, и вы можете отключить все другие RNN, сэкономив огромное количество вычислений по сравнению с большими традиционными монолитными моделями RNN.

Я думаю, что там есть несколько хороших идей, но я не сразу уверен, что они действительно применимы к этой проблеме. Я собираюсь подробно остановиться на этом в другом посте, потому что я еще не полностью проверил эту идею. Однако добрые люди из сабреддита /r/machinelearning подбадривают меня.

Углубившись в эту работу, я обнаружил несколько способов построения сетей, которые были репрезентативными для органических нейронных сетей в неокортексе. Первый был сделан самим Джеффом Хокином и его командой в Numenta.

Команда Numenta пытается решить множество проблем, которые они определили для ИНС с иерархической временной памятью. Тем не менее, я думаю, что он, возможно, слишком рано отнесся к ANN с пренебрежением, потому что сейчас есть некоторая работа, которая предполагает, что LSTM или GRU на самом деле превосходят рекуррентные нейронные сети на основе HTM, которые потребуются для прогнозирования состояния.⁴ Я провел все исследования для отдельного HTM. post, но я обнаружил, что есть отличное резюме Richa Singh, и я не собираюсь добавлять много полезного, чего там еще нет. Так что иди проверь, если тебе интересно.

Последняя попытка реализации, о которой я знаю, принадлежит самому крестному отцу глубокого обучения профессору Джеффри Хинтону. Хинтон сетует на застой вместе со многими другими громкими именами в сообществе глубокого обучения. Хокинс хвалит недавнюю работу Хинтона, говоря, что в настоящее время они пытаются решить те же проблемы. Команда Хинтона построила так называемые капсульные сети², которые воплощают в себе базовую архитектуру, которую ищет Хокинс.

Капсульные сети в настоящее время в основном ориентированы на обработку изображений, но некоторые работы показывают, что их можно использовать в качестве обучающих с подкреплением и в неконтролируемых условиях с неоднозначными результатами.³

Это основное введение, которое я совершенно не имею права дать. В настоящее время я ищу аспирантуру, в которую можно пойти, и профессоров, с которыми можно работать, поэтому, если вы знаете кого-то, кому было бы интересно поболтать об этом со мной, пожалуйста, дайте мне знать.

Пожалуйста, похлопайте в ладоши и следуйте.

Я буду публиковать сообщения, о которых я упоминал выше, о других общих фреймворках ИИ, основанных на мозге, которые я и другие придумывали. Надеюсь, у кого-то из них что-то есть.

Если вы хотите прочитать тысячу мозгов, вы можете помочь мне, купив это здесь: https://amzn.to/3aiJplA

[1] Хокинс, Дж., и Докинз, Р. (2021). Тысяча мозгов: новая теория интеллекта. Основные книги.

[2] Сара Сабур, Николас Фросс, Джеффри Э. Хинтон. Динамическая маршрутизация между капсулами. Препринт arXiv arXiv:1710.09829, 2017. https://arxiv.org/abs/1710.09829

[3] Адам Р. Косиорек, Сара Сабур, Йи Уай Тех, Джеффри Э. Хинтон. Многоуровневые капсульные автоэнкодеры. Препринт arXiv arXiv:1906.06818, 2019. https://arxiv.org/pdf/1906.06818.pdf

[4] Струйе, Дж., и Латре, С. (2019, 25 апреля). Иерархическая темпоральная память и рекуррентные нейронные сети для прогнозирования временных рядов: эмпирическая проверка и сведение к многослойным персептронам. Нейрокомпьютинг. Получено 8 октября 2021 г. с https://www.sciencedirect.com/science/article/abs/pii/S0925231219304369.

[5] Винченцо Ломонако https://numenta.com/blog/2019/10/24/machine-learning-guide-to-htm