Автор: Миранда Хитченс

В заключительной части этого интервью с профессором Джакомо Индивери мы рассмотрим потенциал и проблемы, которые представляет область нейроморфных систем, рассматривая как технологию, существующую сегодня, так и то, как ее можно использовать в будущем.

Несмотря на относительную неизвестность области, исследовательские возможности и технологическое преобразование нейроморфной инженерии могут обеспечить решения многих из самых больших проблем, с которыми сталкиваются современные передовые технологии. От производства действительно маломощных вычислительных устройств и снижения нашей зависимости от центров обработки данных до продвижения вперед в области нейробиологии — существует множество захватывающих перспектив, которые могут принести пользу широкому кругу отраслей.

Первую часть этого интервью, посвященную вычислениям с помощью нейроморфных систем и SNN, можно найти здесь, а вторую часть, посвященную приложениям нейроморфных систем, — здесь.

Вы говорили об одном из ограничений нейроморфных систем, заключающемся в том, что они могут выполнять только простые задачи. Какие еще проблемы возникают при разработке нейроморфных систем?

До сих пор нейроморфные вычислительные технологии были не очень привлекательными для промышленности и коммерческих целей, потому что до сих пор в вычислительной среде доминировали компьютеры общего назначения, такие как ноутбуки или даже ваш мобильный телефон. Но поскольку это становится неустойчивым с точки зрения требований к энергии — центры обработки данных и облака действительно сильно сжигают — такие компании, как Google и Facebook, их самые большие расходы связаны с счетами за электроэнергию.

Таким образом, сейчас существует тенденция делать менее универсальные или, я бы сказал, специализированные вычислительные чипы, а затем применять их только к конкретным приложениям, для которых они были разработаны. Например, компьютер для управления протезами не будет универсальным процессором, он будет действительно посвящен решению этой конкретной проблемы с наименьшим количеством энергии, наименьшим объемом и т. д. Вот почему такие компании, как Samsung, Huawei , но и стартапы начинают изучать технологию нейроморфных вычислений, потому что для конкретных прикладных задач нейроморфные чипы могут превзойти стандартные вычислительные подходы.

Теперь я вижу, что появляется большое количество стартапов, которые выходят на рынок для создания чипов, которые можно использовать в конкретных областях применения, таких как носимые устройства, датчики запаха или газа, но вещи, которые можно использовать только для это конкретное приложение — они не будут использоваться для работы с электронными таблицами или матричных инверсий. И, как я уже сказал, они не будут продаваться лучше, но они будут дополнять стандартные компьютеры, поэтому нам всегда будут нужны процессоры, подобные тем, которые Intel делает в наших мобильных телефонах и компьютерах, но мы также начнем использовать специализированные вычислительные устройства в наших футболках, в наших холодильниках и во всевозможных местах, где вам нужно проводить очень локальное восприятие и обработку с небольшим интеллектом.

Я помню, как читал об AlphaGo, и реальные улучшения, которые они внесли, заключались в том, что они перешли на использование более специализированного оборудования, например, с GPU на TPU, по крайней мере, с точки зрения энергопотребления. Так что вполне логично, что нейроморфные чипы преуспеют в этих областях, специфичных для конкретных приложений.

Да, точно. В области ИНС это действительно конкурентная область, где есть много компаний и стартапов, которые пытаются оптимизировать новые стандартные подходы к вычислениям, такие как архитектуры фон Неймана, специально для глубоких сетей. Таким образом, TPU являются одним из примеров, и есть множество других компаний, которые пытаются создавать специальные ускорители для глубоких сетей. Нейроморфы — вы можете думать о них как об ускорителях для SNN — так что это относительно отличается от ANN или глубоких сетей, но это та же концепция, что вы делаете очень специфичное для приложения оборудование, которое было разработано и оптимизировано только для этой конкретной задачи.

На самом деле у меня был вопрос от моей бывшей учительницы химии, которая изучала неврологию, и когда я рассказал ей о нейроморфных системах для проекта, которым я занимался еще в старшей школе, она спросила меня, не столкнется ли эта область с чем-то вроде препятствия в что мы не понимаем всех функций мозга, или, по крайней мере, мы не будем продвигаться в нейробиологии так же быстро, как в электронике? Мы дойдем до того, что обнаружим все, что можем, и сможем реализовать это, но тогда нам придется остановиться.

Да, значит, ваш учитель действительно попал в точку, потому что это блокпост, мы уже попали в блокпост, уже с самого начала. Технологии, как вы знаете, развиваются очень быстро, но то, что мы можем построить с помощью электроники, может достичь только того, что мы знаем с помощью вычислительной нейронауки и нейронауки. Итак, мы можем разместить на чипе миллион транзисторов, и мы можем разместить на чипе сотни тысяч нейронов, но тогда мы не знаем, что с ними делать, и ограничением является не технологический или инженерный аспект, или робототехника или механика — это знания, полученные из неврологии, потому что в неврологии мы не знаем, как работает мозг.

Мы все еще можем воспроизводить свойства небольших цепей, таких как части сетчатки или части улитки; части зрительной системы и так далее; какие-то участки лобной коры для планирования, но все же собрать все воедино еще совершенно неизведанная, неизведанная территория. Итак, если мы не получаем ноу-хау из нейробиологии, если мы сами не изучаем его как нейробиологи, то это является главным препятствием, так что она была полностью права. Мы не сможем создать эмуляцию всего мозга, потому что мы не знаем, как мозг вычисляет, мы не знаем, какие части являются важными, какие части можно игнорировать, потому что это всего лишь вещи, которые биология использует для вычислений. заставить вещи работать, и какие части на самом деле очень важны с вычислительной точки зрения. Многое неизвестно и требует изучения.

Но идея также состоит в том, что нейроморфная инженерия может дать обратную связь нейронауке и помочь ей добиться прогресса, но, как вы знаете, прогресс в нейробиологии был очень, очень медленным. Мы просто должны следовать темпам нейронауки, хотя электроника развивается очень быстро, мы очень медленно улучшаем нейроморфные системы, потому что они очень тесно связаны с прогрессом нейронауки.

Чтобы связать это с некоторыми текущими событиями, я думаю, что мне вспомнился чип Loihi второго поколения, который Intel недавно анонсировала. Не могли бы вы немного рассказать о том, что происходит в Intel с нейроморфными чипами?

Intel впервые создала Loihi в 2018 году, это была исследовательская платформа, чтобы действительно начать исследовать, что можно сделать с SNN, и что можно сделать с чипом, который действительно предназначен для моделирования SNN, потому что он также является механизмом моделирования для SNN — оптимизирован для SNN. И они придали большую гибкость многим вещам, которые люди могли попробовать, с другими правилами обучения или другими механизмами пластичности, различными схемами подключения к сети, и они создали очень хорошее сообщество. Intel действительно много сделала для роста сообщества, и сейчас многие люди создают модели в программном обеспечении, а также проверяют их или отображают на платформах Loihi.

И благодаря этому взаимодействию с сообществом многие исследователи, постдоки и студенты поняли, что некоторые элементы появляются снова и снова из разных частей мира с использованием чипа Loihi. Возможно, люди скажут, что им нужно больше гибкости при разрешении весов, или нужны трассировки допустимости, или что-то в этом роде. Они приняли все советы или требования сообщества и вложили все, что могли, в дизайн нового чипа. Таким образом, новый чип действительно является многообещающей платформой, он использует один из самых передовых процессов изготовления СБИС, поэтому он также подчиняется закону Мура и действительно использует процесс проектирования Intel последнего поколения. До сих пор неясно, что с ним можно сделать, но у него большой потенциал, так что это все еще очень захватывающее время, потому что этот чип Intel может позволить делать очень причудливые и полезные вещи, которые нельзя было сделать со старым чипом или с другим. вещи.

Опять же, это все еще движок моделирования, поэтому вы все еще можете моделировать все на рабочем столе, но если вы хотите поместить его на робота или дрон, это то, что может быть быстрее, и оно действительно оптимизировано для SNN. Таким образом, это может позволить нам создавать вещи, которые взаимодействуют с окружающей средой в режиме реального времени, что невозможно сделать иначе.

Есть ли в этой области что-то, что, по вашему мнению, должны знать люди?

Это лучшее время для начала — я начал изучать эти вещи в 90-х, но сейчас самое время. Теперь Intel начинает интересоваться этими вещами, правительства начинают финансировать, люди начали понимать, что вычисления мозгового типа могут быть полезны, если вы хотите делать специфичные для приложения вещи с низким энергопотреблением. И энергия становится этой действительно ключевой, важной общественной проблемой. Итак, если вы действительно хотите поработать над чем-то захватывающим, я бы посоветовал всем начать изучать нейроморфы. Вы можете изучать, наверное, единственную неизведанную территорию на Земле, а именно человеческий мозг — есть еще много областей, которые совершенно неизвестны о мозге и о том, как работает мозг, и поэтому погружаться в эту область действительно увлекательно.

Вдобавок ко всему, если вы делаете это с помощью нейроморфных схем, вы становитесь экспертом в области электроники и аналогового проектирования, что становится все более и более важным, потому что граница между аналоговым и цифровым, поскольку транзисторы становятся все меньше, а мемристоры становятся популярными. , становится сложнее поставить. Так что, если вы аналоговый дизайнер, вы можете легко найти работу.

Вы начинаете решать социальные проблемы, такие как обработка данных с низким энергопотреблением, так что это действительно захватывающая область для студентов, над которой можно начать работать — сейчас самое подходящее время, вот что я пытаюсь донести. Это продолжается уже несколько лет, не много, но сейчас действительно происходит сближение всех этих вещей, это действительно делает вещи захватывающими.

Вы также находитесь в уникальном месте, в Лондоне, с UCL, ICL, с DeepMind, там такая большая концентрация экспертов в области вычислительной нейронауки, в нейробиологии в целом, которой нет больше нигде в мире, так что вам действительно стоит воспользоваться преимуществами что. В ближайшем будущем могут появиться новые инициативы, новые гранты, стипендии и возможности от финансовых агентств в правительстве Великобритании. И опять же, вот почему нейроморфия — это действительно то, что нужно начать изучать, потому что тогда вы окажетесь в нужное время в нужном месте, чтобы воспользоваться этими возможностями финансирования.

В заключение этого интервью я хотел бы еще раз поблагодарить профессора Индивери за его время и идеи, а также всех за чтение этой серии статей!