Несмотря на то, что NeurIPS (ранее NIPS) в настоящее время наводнен документами по глубокому обучению, вы все еще можете найти случайные статьи по нейробиологии и мозгу. Здесь я представлю некоторые из моих любимых статей по нейробиологии с конференции этого года и объясню, что они могут рассказать нам о вычислениях в мозге и за его пределами.

Дендритные кортикальные микросхемы аппроксимируют алгоритм обратного распространения (Sacramento et al.)

Это моя любимая статья с конференции этого года и одна из самых захватывающих статей, которые я читал за последнее время. Авторы стремятся сделать не что иное, как объяснить, как неокортекс (часть мозга, где расположены в основном все интеллектуальные функции) может обучаться новым задачам. В частности, они моделируют многослойную сеть пирамидальных нейронов, основную вычислительную единицу в неокортексе (они также добавляют второй класс нейронов, так называемые соматостатин-позитивные интернейроны, которые играют роль в регуляции пирамидных нейронов; см. изображение выше для эскиза сети). Их сеть успешно изучает классификацию изображений в MNIST, без явного обратного распространения (что неправдоподобно с биологической точки зрения). Вместо этого нейроны передают сигналы об ошибках на нижние слои через обратные связи (которых в мозгу предостаточно). Очевидно, что эта статья не является доказательством того, что мозг действительно учится именно таким образом, но это, безусловно, классное предложение, которое показывает, что сети в мозге могут обучаться так же, как модели машинного обучения.

Управляемые задачами сверточные рекуррентные модели зрительной системы (Найеби и др.)

Как и в статье Sacramento et al. представленное выше, в этой работе используются связи обратной связи, которые, по-видимому, играют важную роль в обработке информации в мозге. Однако вместо того, чтобы использовать эти соединения обратной связи для обратного распространения сигналов ошибки, здесь они используются для улучшения вычислений с прямой связью. Авторы разрабатывают CNN с рекуррентными и обратными связями (см. красные стрелки на изображении выше) и обучают их в ImageNet. Сети достигают результатов, сравнимых с современными ResNet, но имеют гораздо меньше параметров и слоев. Это захватывающе, потому что показывает, как мозг может использовать связи обратной связи для достижения хорошей производительности, не требуя сотен слоев. Также авторы показывают, что особенности их сетей позволяют точно предсказывать ответы нейронов зрительной коры.

Градиентный спуск для пиковых нейронных сетей (Huh & Sejnowski)

Одно из самых больших различий между искусственными и биологическими нейронными сетями заключается в том, как они передают информацию: в то время как искусственные сети используют непрерывные числа, биологические нейроны общаются с помощью дискретных сигналов типа «все или ничего», так называемых потенциалов действия или спайков. Очевидно, что вычисления с пиками являются проблемой для оптимизации на основе градиента, потому что эти сигналы не дифференцируемы. В этой статье авторы решают эту проблему и представляют алгоритм градиентного спуска для нейронных сетей с шипами. Это позволяет обучать такие сети с помощью обучения с учителем точно так же, как сегодня обучают искусственные нейронные сети.

Включение контекста в модели языкового кодирования для фМРТ (Jain & Huth)

Несколько лет назад в нескольких работах было показано, что CNN на самом деле неплохо предсказывают активность нейронов в зрительной системе мозга (см. обзор в Yamins & DiCarlo 2016). Эта работа показывает то же самое для естественного языка. Авторы использовали фМРТ (функциональную магнитно-резонансную томографию) для записи мозговой активности людей, когда они слушали текст. Затем они вычислили встраивание слов для того же текста с помощью языковой модели LSTM. Сравнивая два представления (через гребневую регрессию), они могут показать, что особенности встраивания слов довольно хорошо связаны с нейронной активностью. Более того, они обнаружили, что разные области мозга моделируются лучше или хуже в зависимости от количества контекстных слов, используемых в языковой модели. Кажется, что сенсорные области низкого уровня (например, слуховая кора; АС на изображении выше) лучше представлены встраиванием слов с небольшим количеством контекстных слов, тогда как области высокого уровня (например, в префронтальной коре; красные пятна в верхней части изображения) выше) лучше представлены встраиванием слов с большим количеством контекстных слов. Это интуитивно понятно, потому что эти высокоуровневые области должны сохранять знания всего текста.

Генерализация у человека и глубокие нейронные сети (Geirhos et al.)

В то время как нейронные сети достигают отличных результатов в компьютерном зрении, они часто терпят неудачу непредсказуемым образом (например, когда добавляется небольшой шум, например, в состязательных атаках). В этой статье авторы исследуют эффективность обобщения CNN путем добавления различных видов шума и искажений к входным изображениям (см. примеры выше). Затем они сравнивают эту производительность со зрительной системой мозга, проводя эксперименты на людях. Неудивительно, что они обнаружили, что люди гораздо более устойчивы ко всем видам искажений изображения. Хотя в документе не предлагается решение этой проблемы, он проливает свет на важный вопрос и дает количественную оценку того, как модели машинного обучения сравниваются с человеческими способностями.

Вдохновленное малышами обучение визуальным объектам (Бамбах и др.)

Несмотря на то, что это не хардкорно-неврологическая статья как таковая, я все же хочу упомянуть ее, потому что она очень интересна для человеческого обучения (а еще они проводят эксперименты с малышами в статье по машинному обучению, как это круто). Авторы предложили детям и их родителям поиграть с кучей игрушек. В то же время они записывали свои взгляды с помощью наголовных камер (см. изображение выше). Сравнивая изображения, записанные детьми, и изображения, записанные их родителями, они находят важные различия в данных изображений, которые могут помочь детям учиться более эффективно. Они также обучают CNN распознаванию объектов на этих данных и обнаруживают, что обучение на изображении детей на самом деле дает лучшие модели объектов, чем обучение на изображениях взрослых.

Нашли какие-нибудь другие интересные статьи, связывающие нейробиологию и машинное обучение? Дай мне знать в комментариях! Вы можете следить за моей работой в Твиттере (@jrieke) или на моем сайте.