Для создания моделей ИИ требуется много ресурсов, особенно если вы строите такие модели, как Bert, GPT или вообще глубокие нейронные сети с преобразователями.
Модель BERT потребляет 1500 кВтч энергии в течение 3 дней. Это примерно в 600 раз больше электроэнергии, чем потребляет ваш мозг за то же время.
Причина проста: этим моделям требуются часы обучения на GPU или даже TPU, и этим моделям требуется много данных для достижения отличных результатов. Кроме того, прежде чем найти наилучшую архитектуру модели (для решения конкретной задачи), проводится множество исследований, настройка параметров, проб и ошибок. Это означает, что модели обучаются несколько раз. И это только для обучения. После развертывания модели для логического вывода она по-прежнему потребляет ресурсы для получения прогнозов. На самом деле, если вы часто используете модель, вывод может потреблять даже больше ресурсов, чем обучение. Добавьте к этому переобучение моделей (для адаптации к изменяющимся данным), и вы получите хороший объем использования ЦП, ГП, ТПУ и ОЗУ.
Вы можете напрямую преобразовать вычислительные ресурсы в потребление энергии и в выбросы углерода (поскольку в настоящее время подавляющее большинство энергии по-прежнему поступает из ископаемых источников энергии). Были проведены исследования по оценке влияния обучения большой модели.
И это только видимая часть айсберга. Действительно, вам нужно учитывать всю картину и скрытые затраты энергии, а не только использование ресурсов при запуске ИИ.
Мы говорили о вычислительной мощности и оперативной памяти, и даже если облако делает очень абстрактным и очень простым доступ к этим ресурсам (обычно одним щелчком мыши вы можете получить виртуальную машину), за кулисами все еще есть некоторые очень физические машины, спрятаны в огромных дата-центрах. Создание этих машин и суперкомпьютеров не требует энергии, и, кроме того, часто требуются редкие металлы для чипов, датчиков и компьютеров. К этому вы добавляете стоимость центров обработки данных, которые необходимо охлаждать из-за тепла, которое исходит от «запуска ИИ». На охлаждение приходится более 40% энергопотребления центров обработки данных.
Наконец, мы не всегда думаем о стоимости передачи и хранения огромного количества данных, которые необходимо передавать по сети.
Нет необходимости говорить, что энергия, которая нужна ИИ, которая может быть напрямую связана с выбросами CO2, действительно велика.
Закон Мура
Благодаря повсеместному присутствию ИИ и его быстрому внедрению исследования по разработке более производительных чипов и процессоров идут полным ходом. Intel инвестирует миллиарды (33), Google использует ИИ для разработки более эффективных чипов, а NVIDI представляет графический процессор H100 для ИИ и называет его «самым быстрым в мире суперкомпьютером для ИИ».
Сотрудники Google и ученые Калифорнийского университета в Беркли говорят, что они разработали способ использования искусственного интеллекта для разработки более быстрых и компактных чипов, ускоряющих работу искусственного интеллекта.
Тем не менее, некоторые говорят, что закон Мура выходит на плато и что мы, возможно, сталкиваемся с узким местом в вычислениях. Модели становятся все более и более сложными (глубокими), и эта тенденция, похоже, не остановится. Темпы инноваций микропроцессоров могут не успевать за темпами разработки глубоких моделей. Имеющегося оборудования может оказаться недостаточно для запуска сложных моделей с желаемым уровнем задержки и скорости.
Количество транзисторов в плотной интегральной схеме (ИС) удваивается примерно каждые два года. Гордон Мур в 1965 году.
Некоторые эксперты даже считают, что инфраструктура, необходимая для поддержки ИИ, может стать узким местом для быстрого развития, и мы можем столкнуться с новой зимой ИИ.
Хорошо, если аппаратное обеспечение не справляется с темпами разработки программного обеспечения, можно ли оптимизировать программное обеспечение?
Преодоление разрыва
В настоящее время исследования в основном сосредоточены на точности алгоритмов ИИ, а не на энергопотреблении последних. Сообщество очень мало заботится об экономии энергии и данных. Распространенная ошибка, которую совершают люди, состоит в том, что они полагают, что сокращение вычислений не всегда снижает большую часть энергии. Тема устойчивого ИИ очень нова.
Если мы будем учитывать аппаратное обеспечение при программировании и оптимизации наших алгоритмов, можно добиться значительного выигрыша в снижении энергопотребления. Фабрис Растелло
Более эффективные компиляторы снижают потребление энергии в 1000 раз. Следовательно, перекрестное исследование оптимизации программного обеспечения для конкретного оборудования является очень многообещающим. Тем не менее, это довольно сложная область применения, требующая совместного опыта как в программном, так и в аппаратном обеспечении ИИ и компиляторах. Создание таких приложений по-прежнему очень сложно и не так распространено. Существует реальная проблема в масштабировании и совместном проектировании технологий, мы должны быть очень гибкими, чтобы подготовить решения, которые можно адаптировать к оборудованию следующего поколения. Команды ИИ должны быть более разнообразными, с навыками компиляции и архитектуры.
Один из способов сфокусировать исследования на потреблении энергии — потребовать, чтобы в исследовательских работах также упоминалось энергопотребление. На самом деле это должно стать очень важным показателем для бенчмаркинга алгоритмов.
Как это часто бывает, все начинается с понимания энергопотребления приложения. CarbonCode.io предлагает легкий способ оценки количества энергии, затрачиваемой на вычисления.
Нам нужно найти лучший баланс между экономичностью и универсальностью/гибкостью чипов и программного обеспечения, которые мы создаем.
Еще один способ экономить энергию — изменить парадигму и переосмыслить наши алгоритмы искусственного интеллекта.
Нам нужны умные реализации
Как математик, я всегда чувствую себя неловко, когда вижу, как люди восхищаются трансформаторами и глубокими нейронными сетями. Раньше я задавался вопросом, упускаю ли я часть информации или люди просто поражены алгоритмами почти грубой силы (хорошо, я признаю, я немного преувеличиваю, чтобы показать суть).
ИИ — это не сложное программирование, алгоритмы просты. Каждый год происходит большой прогресс и исследования новых архитектур нейронных сетей. Тем не менее, процесс разработки новых инструментов искусственного интеллекта — это множество проб и ошибок, отнимающих много энергии. Иногда это похоже на лотерею.
Очевидно, что вокруг глубокого обучения существует ажиотаж. Это своего рода модный аксессуар, который вам обязательно нужно попробовать.
Будем надеяться, что, как и в мире моды, следующее поколение ИИ будет умнее. Нам нужно мыслить нестандартно и мечтать о других типах моделей.
Уже есть куча крутых техник, которые, возможно, тоже заслуживают внимания. Чтобы привести лишь некоторые из них, взгляните на Spiking Neural Networks, вероятностные графовые модели и нейросимволический ИИ.
Наконец, само машинное обучение может помочь в разработке новых алгоритмов и проложить путь к менее энергоемким системам.
Заключение
Для меня устойчивость больше не является открытым вопросом, это то, над чем мы все должны действовать. К счастью, эта тема начинает привлекать внимание сообщества ИИ. И, как обсуждалось в этом посте, уже есть несколько предложенных путей улучшения. Я был очень рад принять участие в European AI week 2022, где обсуждалось много отличных идей. Меня особенно вдохновил круглый стол в Поколении 2030 о железе для ИИ (от софта к железу). Это побудило меня написать этот пост и распространить информацию дальше.
Рекомендации
Исследование Массачусетского технологического института по выбросам CO2
