"Мнение"
Алгоритмов недостаточно
Следующий прорыв в области искусственного интеллекта требует переосмысления нашего оборудования.
У современного ИИ есть проблема: он стоит дорого. Обучение Resnet-152, современной модели компьютерного зрения, оценивается в около 10 миллиардов операций с плавающей запятой, что намного меньше, чем в современных языковых моделях. Обучение GPT-3, недавней модели естественного языка от OpenAI, оценивается в 300 миллиардов триллионов операций с плавающей запятой, что стоит не менее 5 миллионов долларов на коммерческих графических процессорах. Сравните это с человеческим мозгом, который может распознавать лица, отвечать на вопросы и водить машину, употребляя всего лишь банан и чашку кофе.
Как мы здесь оказались?
Мы прошли долгий путь. Первые компьютеры были машинами специального назначения. В 1822 году британский математик Чарльз Бэббидж создал «разностную машину», единственной целью которой было вычисление полиномиальных функций. В 1958 году профессор Корнелла Фрэнк Розенблатт создал «Mark I», физическое воплощение однослойного перцептрона для задач машинного зрения. Аппаратное обеспечение и алгоритм в те дни были одним и тем же.
Единство аппаратного обеспечения и алгоритма изменилось с появлением архитектуры фон-Неймана, конструкции микросхемы, состоящей из блока обработки для вычислений и блока памяти для хранения данных и программных инструкций. Этот сдвиг парадигмы позволил создавать машины общего назначения, машины, которые можно запрограммировать для выполнения любой желаемой задачи. Архитектура фон Неймана стала прототипом современного цифрового компьютера.
Но есть загвоздка. Программы с интенсивным использованием данных требуют интенсивной связи между памятью и вычислительными модулями, что замедляет вычисления. Это «узкое место фон-Неймана» является причиной того, что первые попытки ИИ потерпели неудачу. Стандартные процессоры просто неэффективны при большом умножении матриц, основной вычислительной операции в глубоких нейронных сетях. Из-за узких мест в существующем оборудовании ранние нейронные сети были слишком мелкими и плохо работали.
По иронии судьбы, решение этой проблемы пришло не от академических кругов, а от игровой индустрии. Графические процессоры, разработанные для ускорения видеоигр в 1970-х годах, распараллеливают операции с большими объемами данных с помощью тысяч вычислительных ядер. Этот параллелизм - эффективное решение узкого места фон-Неймана. Графические процессоры позволили обучать более глубокие нейронные сети и стали стандартным оборудованием для современного ИИ.
Аппаратная лотерея
Таким образом, исследования в области ИИ связаны с чистой удачей. Исследователь Google Сара Хукер правильно называет это аппаратной лотереей: ранним исследователям ИИ просто не повезло, потому что у них были медленные процессоры. Исследователи, которые работали в этой области в то время, когда появились графические процессоры, выиграли в аппаратной лотерее. Они могли быстро прогрессировать, обучая глубокие нейронные сети, используя эффективное ускорение графического процессора.
Проблема с аппаратной лотереей заключается в том, что после того, как в целом определился победитель, становится трудно исследовать что-то новое. Разработка оборудования идет медленно и требует от производителей микросхем крупных авансовых вложений с неопределенной окупаемостью. Безопасная ставка - просто оптимизировать матричное умножение, которое стало статус-кво. Однако в долгосрочной перспективе сосредоточение внимания на одной конкретной комбинации оборудования и алгоритма может ограничить наши возможности.
Вернемся к первоначальному вопросу. Почему современный ИИ такой дорогой? Ответ может заключаться в том, что, возможно, у нас просто еще нет нужного оборудования. А наличие аппаратных лотерей в сочетании с бизнес-стимулами делает экономически трудным вырваться из текущего статус-кво.
В качестве примера рассмотрим капсульную нейронную сеть Джеффри Хинтона, новый подход к компьютерному зрению. Исследователи Google Пол Бархам и Майкл Айсард обнаружили, что этот подход достаточно хорошо работает на процессорах, но плохо работает на графических процессорах и TPU. Причина? Ускорители оптимизированы для наиболее частых операций, таких как стандартное умножение матриц, но в них отсутствует оптимизация для сверток капсул. Их вывод (который также является названием их статьи): Системы машинного обучения застряли в колее.
Существует риск того, что исследователи искусственного интеллекта «переоборудуют» существующее оборудование, что в долгосрочной перспективе будет препятствовать инновациям в этой области.
Путь вперед
«Возможно, следующий прорыв потребует принципиально другого способа моделирования мира с другой комбинацией оборудования, программного обеспечения и алгоритмов». - Сара Хукер, Google Brain
В человеческом мозгу память и вычисления - это не два отдельных компонента, а, напротив, они происходят в одном и том же месте: в нейронах. Память возникает из того, как нейроны связаны друг с другом через синапсы, в то время как вычисления возникают из того, как нейроны запускают и распространяют информацию от сенсорных входов. Аппаратное обеспечение и алгоритм - это одно и то же, как в компьютерах раннего поколения. Это нигде не похоже на то, как мы делаем сегодняшний ИИ.
Глубокие нейронные сети на базе графических процессоров и TPU, даже несмотря на то, что сегодня они отлично справляются со многими задачами, в долгосрочной перспективе могут оказаться не лучшим вариантом. Возможно, они просто локальный оптимум в обширном ландшафте возможных комбинаций аппаратных средств и архитектур алгоритмов.
Путь вперед начинается с осознания того, что алгоритмов недостаточно. Для следующего поколения ИИ нам необходимо внедрять инновации как в аппаратное обеспечение, так и в алгоритмы. До появления графических процессоров исследования ИИ застопорились. Без нового прорыва в аппаратной части возможно, что мы снова застрянем.
