В недавней работе исследователи из Массачусетского университета в Амхерсте провели анализ углеродного следа обучения нескольких распространенных крупных моделей ИИ. Выводы весьма интересны и несколько поучительны: выброс углекислого газа (CO2) для обучения модели нейронной сети может быть в 10 раз больше, чем CO2, производимый человеком за год. Когда я прочитал эту статью, я был сбит с толку, но был заинтригован, чтобы узнать, насколько верно это утверждение. Конечно! обучение одной модели нейронной сети может произвести в 10 раз больше CO2 по сравнению с человеком, но не каждый человек занимается глубоким обучением. Что, если количество обучающих экземпляров намного меньше, чем количество людей на Земле? В этом случае углеродный след СО2 от глубокого обучения будет незначительным по сравнению с человеческим. Более того, как производство CO2 одним человеком соотносится с общим выбросом CO2 в окружающую среду?

В этой статье я хочу копнуть глубже, чтобы выяснить, насколько плохо обучение нейронной сети. Из 49th HPC User Forum, 2013, презентация Tuscon от Nvidia видно, что общее количество вычислительных GPU, которые существуют, составляет 430 миллионов в 2013 году. Среднее энергопотребление GPU составляет около 100–200 Вт, поэтому Я возьму 150 Вт в качестве приблизительной оценки мощности для всех графических процессоров. Теперь, если мы запустим все 430M графических процессоров в режиме 24x7 в течение 365 дней при 150 Вт и используем коэффициент эффективности использования энергии (PUE) 1,58, общее потребление энергии составит примерно 8,9 x 10¹¹ кВтч.

Используя данные, предоставленные Агентством по охране окружающей среды США (EPA) из США (EPA, 2018), потребление энергии можно преобразовать в расчетные выбросы CO2, используя:

Выбросы CO2 (в фунтах) = 0,954 x энергия в кВтч

что в нашем случае будет 8,5 x 10¹¹ фунтов или 0,4 гигатонны. Таким образом, если мы запустим все существующие сегодня графические процессоры непрерывно 24x7 в течение 1 года, то они произведут 0,4 гигатонны CO2, а общее производство углекислого газа за 1 год во всем мире составит 36,2 гигатонны (источник). Таким образом, GPU уже производят 1 % от общего объема выбросов углерода. Обратите внимание, что в анализе я принял общее количество графических процессоров равным 430 млн, что является данными за 2013 год. Количество графических процессоров сегодня, в 2019 году, намного больше, и предполагается, что это число будет расти в ближайшие годы.