В наши дни общая стоимость обучения модели НЛП может достигать миллионов долларов. И поэтому вполне естественно, что ограниченные бюджетом исследователи, инженеры и ученые при планировании своих экспериментов по обучению моделей задают важный вопрос: Сколько это будет стоить? И каковы основные факторы, влияющие на эту цену?

Израильская исследовательская компания AI21 Labs ищет ответы в своей недавно опубликованной статье Стоимость обучения моделям НЛП: краткий обзор.

Со-генеральный директор AI21 Labs, профессор компьютерных наук Стэнфордского университета (заслуженный) и инициатор AI Index Йоав Шохам описывает мотивацию проекта. Все началось с запроса, который мы получили в AI Index. Я начал записывать быстрый ответ и понял, что он заслуживает более длинного. Я также понял, что у AI21 Labs есть большой опыт. Поэтому мы приложили небольшие усилия, чтобы составить этот отчет на благо сообщества .

Команда сравнила три языковые модели Google BERT разного размера в 15-гигабайтном корпусе Wikipedia и Book, оценив как стоимость одного учебного прогона, так и типичную стоимость полностью загруженной модели. Команда оценила полную стоимость, включая настройку гиперпараметров и несколько запусков для каждого параметра: «Мы смотрим на несколько скромную верхнюю границу из двух конфигураций и десяти запусков на конфигурацию».

  • 2,5–50 тыс. Долл. США (модель со 110 миллионами параметров)
  • 10–200 тыс. Долларов (модель с параметрами 340 миллионов)
  • 80–1,6 млн долларов (модель с параметрами на 1,5 млрд)

Затраты на обучение могут сильно различаться из-за различных технических параметров, увеличиваясь до 1,3 миллиона долларов США за один запуск при обучении варианта модели нейронной сети преобразователя текста в текст Google 11 миллиардов параметров (T5). Для проекта, который может потребовать нескольких запусков, общие затраты на обучение могут составить ошеломляющую цифру в 10 миллионов долларов США.

Исследователи отмечают, что, например, стоимость операций с плавающей запятой (FLOP) и базовой нейронной сети снижается, в то время как рост общих затрат обусловлен увеличением набора данных и размера модели, а также объема обучения: «В НЛП , все становится все больше и больше ».

Однако точная оценка затрат, основанная на конкретных моделях НЛП или процедурах обучения заданию, является сложной задачей. Как сказал Шохам Synced «, на него влияют несколько параметров. Помимо технических параметров, есть также личные и организационные соображения; исследователь может нетерпеливо подождать три недели, чтобы провести тщательный анализ, а его / ее организация может быть не в состоянии или не желает платить за это. Так что на ту же задачу можно потратить 100 тысяч или 1 миллион долларов ».

В исследовании говорится, что причина нынешнего мегамасштабного, грубого статистического подхода НЛП и гонок в таблице лидеров SOTA проста: «Это работает; он показал лучшую производительность, чем любая альтернатива ».

Однако Шохам предполагает, что настало время для перемен, поскольку погоня за рейтингом в таблице лидеров по узким задачам часто приводит к чрезмерной оптимизации для поставленных задач и переобучению. «Сообщество знает об этом», - говорит он.

Вместо того, чтобы посвящать больше вычислений гонкам в таблице лидеров, Шохам предлагает исследовательскому сообществу изучить более эффективные архитектуры нейронных сетей и способы более эффективного использования данных.

Статья Стоимость обучения моделям НЛП: краткий обзор находится на arXiv.

Журналист: Фаню Цай | Редактор: Майкл Саразен

Думаете о том, чтобы внести свой вклад в синхронизированную проверку? Новая колонка Поделитесь моими исследованиями от Synced приглашает ученых поделиться своими научными открытиями с глобальными энтузиастами искусственного интеллекта.

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.

Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.