В свете всех достижений и этапов, которые были достигнуты в области искусственного интеллекта с помощью глубокого обучения, по большей части игнорировалось одно возможное последствие. Каждое явление, происходящее на Земле, потребляет энергию в той или иной форме, как и глубокое обучение. По мере того, как обучающие модели со временем становятся больше, растут и их требования к вычислениям, которые, в свою очередь, увеличивают не только финансовые, но и экологические затраты. Судя по статье, о которой я говорил сегодня, ответ заключается в том, чтобы сделать оборудование более эффективным, а ИИ - «умнее».

В качестве примера автор упомянутой здесь статьи решил использовать инструмент под названием GPT-3, презентацию openAI, подобную которой раньше не видели. Программа, способная писать «творческую» художественную литературу, является одним из величайших достижений этой компании. Стоимость этих достижений составила колоссальные 4,6 миллиона долларов США, а сравнительные затраты на вычисления - благодаря модели обучения, превосходящей стандартные требования в тысячу раз. Очевидно, что это не та практика, которую можно поддерживать в долгосрочной перспективе, поэтому необходимость в часе - это ощутимые реформы технологии и лежащей в основе практики глубокого обучения. За 8 лет с момента создания AlexNet в 2012 году потребности в вычислениях искусственного интеллекта выросли более чем в 300000 раз, используя AlphaGo Zero 2018 года в качестве эталона. Прогнозы на следующее десятилетие прогнозируют, что потребность в электроэнергии достигнет 9000 тераватт-часов (ТВт-ч). В попытке количественно оценить текущие стандарты воздействия на окружающую среду с помощью глубокого обучения, исследование, проведенное исследователями из Массачусетского университета в Амхерсте, показало, что для обучения стандартной большой модели DNN производится более 626 000 фунтов выбросов углерода. По мере нашего продвижения вперед это число будет только расти. Как я уже упоминал ранее, решение требует исследований как в основных областях, так и в программном и аппаратном обеспечении.

«Умнее» ИИ

Наши нейронные системы, хотя и намного превосходят их, никогда не будут потреблять такой уровень энергии для одних и тех же задач. Таким образом, ключевой вывод здесь состоит в том, что ИИ, который приближается к нашему уровню восприятия, может быть гораздо более эффективным с точки зрения потребности в энергии. Из-за одного простого факта - «Люди не обращают внимания на каждую деталь, почему должны быть наши модели» ~ исследователь из MIT-IBM Watson AI Lab.

Наши естественные модели обучения сохраняются в нашем мозгу только в виде тщательно подобранных релевантных данных, которых оказывается достаточно для любых целей в будущем. Таким образом, подобным образом спроектированная искусственная нейронная сеть, даже на очень простом уровне, значительно превзойдет любую связанную модель с точки зрения требований к вычислениям.

Еще одно интуитивное предложение заключается в использовании текущих методов глубокого обучения для построения таких эффективных моделей. Этот процесс получил название «поиск нейронной архитектуры». Пройдя еще один или несколько шагов, мы подходим к «гипотезе лотерейного билета», в которой говорится о том, как в рамках стандартных моделей мы можем классифицировать более мелкие «подсети», одну из которых можно обучать полностью изолированно от остальной модели. и, в свою очередь, с гораздо меньшим весом. Название гипотезы происходит от того факта, что обученная подсеть называется «выигрышным билетом». Согласно утверждениям исследователя Facebook Ари Моркоса, такие модели лотереи в настоящее время существуют в языковых моделях и моделях обучения с подкреплением. Уловка заключается в том, что любые такие предлагаемые модели по-прежнему требуют полноценного обучения с избыточными параметрами для построения. Таким образом, любая потенциальная экономия энергии ограничивается будущим, до которого еще предстоит провести значительный объем «исследований».

Лучшее оборудование

Квантовые компьютеры - это естественный следующий шаг в эволюции вычислительной техники, но, несмотря на то, что их широкое использование остается невозможным. Некоторые принципы квантовой физики, такие как квантовая запутанность, в настоящее время применяются экспериментально. Короче говоря, исследователи сейчас балуются концепцией хранения и передачи данных с помощью света или, точнее, фотонов. Основная причина в том, что затраты энергии на перемещение фотона полностью не зависят от расстояния.

Что касается текущего статус-кво, то графические процессоры на основе видеоигр до сих пор играли неотъемлемую роль в реализации и размещении эффективных моделей нейронных сетей, поскольку они решали критическую начальную проблему, заключающуюся в возможности хранить и повторно использовать данные непосредственно со всех процессорных ядер чипа. , что приводит к созданию более быстрых моделей при меньшем потреблении энергии. Архитектура этих чипов легла в основу современных процессоров более десяти лет назад, благодаря чему сегодня усовершенствования в технологии позволяют запускать алгоритмы глубокого обучения даже на смартфонах.

Но вскоре все эти улучшения могут столкнуться с серьезными препятствиями; Очевидное замедление действия закона Мура за последнее десятилетие вместе с аналогичной тенденцией в масштабировании Деннарда уже накладывает ограничения на текущую эволюцию микропроцессоров. И, судя по последним данным, доступ к памяти оказался основной причиной энергопотребления, на порядки превышающего простое вычисление. Это требует гораздо более специализированного оборудования с акцентом на повторное использование данных (концепции включают сверточное повторное использование, повторное использование Fmap, повторное использование фильтров). Одна конкретная концепция, теоретически предназначенная для управления энергопотреблением на стороне необработанных вычислений, предполагает перенос функции вычислений непосредственно в память, используя только элементы памяти.

Обучение и имитация человеческого мозга не ограничивается программной частью вещей; В настоящее время проводятся эксперименты с транзисторами, специально для модификации их бинарной структуры включения-выключения путем добавления аналоговых устройств, которые могут отражать фактические реакции синапсов мозга, становящиеся сильнее и слабее.

И, как и в случае с программным обеспечением, нам предстоит пройти еще долгий путь, прежде чем мы увидим реальные практические и ощутимые результаты в этой области, которые могут помочь в долгосрочной перспективе изменить уровни энергопотребления.

В заключении

Разговор об искусственном интеллекте, глубоком обучении и машинном обучении теперь должен активно начаться, включая аспекты энергопотребления наряду со всеми другими важными переменными, независимо от варианта использования. Трудно переоценить экстренность вопроса.

Стремление к устойчивости дало нам некоторые из наших самых передовых технологий, и будущее на этом пути надежного сверхэффективного искусственного интеллекта не изменится. Тем не менее, это стремление никогда не должно заканчиваться, человеческая цивилизация требует эволюции, но не за счет природы.

Ссылка: https://news.mit.edu/2020/shrinking-deep-learning-carbon-footprint-0807