(и результаты до сих пор иногда выглядят так)
[эпистемический статус: обновление предыдущей позиции в результате обсуждения с людьми умнее меня]
Люди писали мне по электронной почте, и я читал их материалы! Как я и предсказывал, иногда я ужасно ошибался и часто слишком упрощал.
Ниже приводится обновление/разъяснение моей позиции.
Некоторая форма задней опоры может быть биологически правдоподобной.
Существует тонна работы над биологически правдоподобным упором на спину, и с моей стороны было действительно несправедливо отбрасывать их все в одном абзаце. При этом я все еще скептически отношусь к различным реализациям, поскольку они, кажется, существуют изолированно друг от друга, и я нигде не могу найти их код (кроме Глубокого обучения с разделенными дендритами ), чтобы я мог их оценить.
Против теоретической изоляции: манифест
Моя новая, гораздо более информированная позиция в отношении DL заключается в том, что я бы хотел, чтобы она не существовала в такой изоляции. Как я уже писал ранее, я думаю, что перспективным направлением исследований является его интеграция с другими подходами к когнитивному моделированию. Если бы существовал какой-то способ двигаться вверх и вниз по лестнице абстракции с помощью глубокого обучения, я бы счел это гораздо лучшей аналогией нейронных вычислений. Кроме того, это разрешит другие более слабые аргументы (о том, что DL не использует биологические детали, ограничения текущего нейроморфного оборудования и отсутствие использования спайков в обучении) из моего предыдущего поста. Наконец, это также позволило бы использовать мощные объяснения развития, допускаемые ДО, другими парадигмами когнитивного моделирования.
Я понимаю, что это чисто философская позиция о том, как выглядит хорошее будущее для когнитивного моделирования. Я уверен, что есть недоброжелатели, которые считают ненужным связывать разные подходы через биологию. Однако я чувствую, что отсутствие синтеза может привести к чрезмерно сложным, немасштабируемым моделям. Например, Модель представления знаний Эрика Кроуфорда, которая продемонстрировала, как использование символов и нейронов позволяет создать гораздо более масштабируемую модель, чем чисто нейронный подход. Как вариант, рассмотрите Spaun. Он способен выполнять множество задач и генерировать множество прогнозов только в результате смешивания различных подходов, что было бы возможно только при гораздо большем увеличении сложности. Однако это чувства, а не факты.
Я вижу, что единственный способ доказать, что моя философия ошибочна, — это если когнитивное моделирование будет развиваться без обращения к биологии. В таком случае я откажусь от своих притязаний и присоединюсь ко всем в области чистой математики. А пока я буду пытаться построить свою лестницу.
Этот философский подход непрост, и я уверен, что другие пытались это сделать. Я просто не понимаю, почему другие попытки не увенчались успехом. Это отсутствие воспроизводимых вычислительных экспериментов из-за различных проблем? Или это было слишком сложно до сих пор? Я с нетерпением жду работы, чтобы выяснить это.
Если вам понравилась эта статья и вы хотите прочитать больше моих сообщений о науке о мозге, рассмотрите возможность подписаться на мой список рассылки.
