Facebook использует свои огромные данные из социальных сетей для улучшения алгоритмов машинного обучения, и результаты выглядят превосходно. В статье Exploring the Limits of Weakly Supervised Pretraining исследовательская группа Facebook AI показывает, как они обучили большую сверточную сеть предсказывать хэштеги для примерно 3,5 миллиардов изображений в социальных сетях. Исследование показало на ImageNet самый современный результат точности 85,4%. Facebook разместил исходный код модели в хабе PyTorch.

Предварительное обучение моделей на наборе данных ImageNet было основным исследовательским подходом в течение многих лет, но в сегодняшнем цифровом мире, где объем данных увеличивается на порядки, набор данных ImageNet десятилетней давности теперь считается относительно небольшим по размеру. Это побудило Facebook изучить, как предварительное обучение модели машинного обучения на крупномасштабном наборе данных со слабым контролем может повлиять на производительность модели.

Исследователи использовали около 3,5 миллиардов общедоступных изображений Instagram с 8000 хэштегов в качестве набора данных для классификации изображений. В отличие от изображений, помеченных вручную, изображения в социальных сетях и их пользовательские хэштеги зашумлены и часто имеют дубликаты. Чтобы справиться с этими проблемами, исследователи создали меру, которую они назвали «Нижняя граница точности», которая рассматривает повторяющиеся тестовые изображения в обучающем наборе как неправильные изображения.

Эксперименты Facebook с этими миллиардами изображений дали ошеломляющие цифры:

  • Чтобы повысить практическое обучение, исследователи Facebook использовали синхронный стохастический градиентный спуск (SGD) на 336 графических процессорах на 42 машинах с мини-пакетами из 8064 изображений.
  • Они использовали остаточные сети со сверточными слоями (ResNeXt) в качестве обучающей модели с примерно 153 миллиардами операций умножения и сложения FLOP и 829 миллионами параметров.
  • Исследователям потребовалось около 22 дней, чтобы обучить ResNeXt-101 32 × 16d (32 группы, 36 миллиардов флопов, 193 миллиона параметров) на 3,5 миллиардах изображений.

Для экспериментов исследователи предварительно обучили сверточные сети для предсказания хэштегов, а затем перенесли эти сети для решения различных задач. Они оценили предварительную подготовку Instagram, измерив точность классификации по трем целевым задачам классификации: ImageNet, CUB2011 и Places365.

Исследователи обнаружили, что использование массивных данных Instagram улучшило производительность модели в нескольких задачах классификации изображений и обнаружения объектов по сравнению с обучением с нуля. Модель ResNext-101 32x48d, обученная 940 миллионам изображений и 1,5 тыс. Хэштегов, обеспечивает наивысшую на сегодняшний день точность однокадрового кадрирования ImageNet-1k, топ-1: 85,4% (97,6% топ-5).

В ходе экспериментов исследователи обнаружили ряд других интересных явлений. Например, простое увеличение размера набора данных для предварительного обучения напрямую не приводит к лучшим результатам. В задаче классификации ImageNet-1k сети, предварительно обученные на 1,5 тыс. Хэштегов, превзошли сети, обученные на более крупном наборе данных, поскольку 1,5 тыс. Хэштегов были выбраны для соответствия целевой задаче.

Еще одно открытие заключалось в том, что современные сетевые архитектуры, как правило, не подходят для обучения сверточных сетей на миллиардах обучающих изображений. Предварительное обучение ResNeXt-101 32x4d на большем количестве изображений Instagram с большим количеством хэштегов привело к почти лог-линейному повышению точности.

Статья Исследование пределов предтренинга под слабым контролем находится на arXiv. Соответствующие данные находятся в открытом доступе на PyTorch и GitHub.

Автор: Юйцин Ли | Редактор: Майкл Саразен

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.

Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.