Поскольку глубокое обучение становится все более доступным для разработчиков, новые курсы и программы запускаются с беспрецедентной скоростью. Ресурсов для изучения глубокого обучения предостаточно.

Мне часто задают вопрос: «Какую онлайн-программу глубокого обучения мне выбрать?» Мой ответ: «Это зависит от обстоятельств». В настоящее время существует так много вариантов, какой из них выбрать, зависит от вашего стиля обучения, времени или денег, которые вы можете себе позволить, а также от ваших карьерных целей. Я собираюсь поделиться своим видением нескольких хорошо известных МООК по глубокому обучению:

Udacity Deep Learning Nano степень

Ссылка на программу | Стоимость: 999 или 84 доллара в месяц.

Темп: назначается когорте с другими учащимися. Эта программа довольно сложная, поэтому будьте готовы тратить не менее 10-15 часов в неделю. Ожидается, что вы завершите программу в течение 4 месяцев с продлением на 1 месяц. Если вы не успеете закончить к крайнему сроку, вы будете исключены. Затем вам нужно будет снова заплатить полную стоимость для повторной регистрации.

Куда обратиться за помощью?

  • Группа Slack и каналы по каждой теме. Также доступны часы работы офиса.
  • Наставник. Раньше каждому студенту назначали наставника. Теперь вместо этого вы используете учебную группу.
  • Study Group - чат внутри портала Udacity. заменил систему наставников.
  • Дискуссионные форумы, где учащиеся могут помочь друг другу в ответах на свои вопросы.

Структура курса: нано-степень состоит из 6 частей, каждая из которых состоит из нескольких уроков:

  1. Введение в глубокое обучение
  2. Нейронные сети
  3. Сверточные сети
  4. Рекуррентные сети
  5. Генеративные состязательные сети
  6. Глубокое обучение с подкреплением

Лекции читались как с TensorFlow, так и с Keras. Есть несколько проектов, написанных на низкоуровневом TensorFlow. Студенты не должны выполнять предварительную обработку данных и сосредоточатся на архитектуре модели. Раньше учащимся приходилось самостоятельно создавать среды conda и тренироваться на GPU на AWS или FloydHub. Теперь nanodegree предоставляет средам достаточно часов бесплатного графического процессора для завершения проектов.

Учащимся, закончившим обучение, будет гарантировано зачисление на программы наноразмеров Самоуправляемый автомобиль и Летающий автомобиль.

Другие примечания. Лекции Udacity читают несколько высококлассных преподавателей с качественным содержанием. Нанодипломная программа содержит передовую информацию в области глубокого обучения. Он также предлагает помощь в карьере. Глубокое обучение - это одна из нескольких наноразмеров Школы искусственного интеллекта Udacity. Вы можете выбрать другой наноуровень, например Искусственный интеллект, Робототехника или Обучение с подкреплением, после завершения этого.

Специализация Coursera по глубокому обучению

Ссылка на программу | Стоимость: 49 долларов США в месяц.

Темп: курсы организованы по неделям, поэтому вам не нужно тратить дополнительное время на планирование. Если вы отстаете, просто переключитесь на совместную работу в следующем месяце. Это очень гибкая программа и довольно доступная цена.

Куда обратиться за помощью?

Дискуссионные форумы - единственный способ получить помощь, если вы застряли. Эта программа очень хорошо структурирована. Многие проблемы, с которыми вы столкнулись, возможно, связаны с проблемами с инструментами или некоторыми концепциями, ответы на которые вы можете получить в обсуждениях на форуме.

Структура программы

По этой специализации 5 курсов:

  1. Введение в нейронные сети
  2. Улучшение глубоких нейронных сетей: настройка гиперпараметров, регуляризация и оптимизация
  3. Как структурировать свой проект глубокого обучения
  4. Сверточные нейронные сети (CNN)
  5. Последовательные модели

Каждый курс организован по неделям, и каждую неделю проходят видеолекции с расшифровками стенограмм, за которыми следует викторина, а затем одно или несколько упражнений по программированию. Каждое упражнение по программированию хорошо написано с подробным руководством о том, что должен делать ученик. Каждую неделю есть приглашенные докладчики, чтобы вы могли получить представление об отрасли.

Другие примечания: д-р Эндрю Нг - отличный профессор, и он отлично объясняет сложные концепции в легкой для понимания форме. Программа обеспечивает прочную основу для глубокого обучения.

Стэнфордские курсы глубокого обучения

Стэнфордский университет предлагает несколько курсов по глубокому обучению, поэтому я не буду подробно останавливаться на каждом из них. Скорее я перечисляю те, о которых знаю:

  • CS20 (TensorFlow for Deep Learning Research) - отлично подходит для изучения TensorFlow, а также в качестве введения в глубокое обучение. Вы изучите такие темы, как TensorFlow, Keras, CNN, RNN, GAN и обучение с подкреплением.
  • CS230 (Глубокое обучение) - этот курс почти такой же, как курс Coursera выше, но без видео.
  • CS231n (CNN для визуального распознавания) - отличное введение в компьютерное зрение с глубоким обучением.
  • CS224n (НЛП с глубоким обучением) - фокусируется на обработке естественного языка с помощью глубокого обучения.

Все слайды и заметки бесплатны и доступны для всеобщего ознакомления с доступными видеороликами за предыдущие годы.

MIT: введение в глубокое обучение

Ссылка на программу | Стоимость: бесплатно

Темп: для самостоятельного обучения.

Структура программы :

Есть пять сеансов по два видео на сеанс:

  1. Два видео: Введение в глубокое обучение и Моделирование глубокой последовательности. Лабораторная работа: Введение в TensorFlow + создание музыки с помощью RNN.
  2. Два видео: Deep Computer Vision и Deep Generative Models. Лабораторная работа: Выявление заболеваний с помощью рентгеновских снимков человека.
  3. Два видео: Глубокое обучение с подкреплением и Ограничения и новые границы.
  4. Гостевые лекции от Google и NVIDIA.
  5. Гостевые лекции от IBM и Tencent.

Лекции хорошо организованы и качественны. Это хорошо, если вы хотите изучить различные темы глубокого обучения за короткий период времени. Я также считаю очень интересными гостевые лекции из индустрии.

Fast.ai Deep Learning для кодеров

Ссылка на программу | Стоимость: бесплатно

Темп: самостоятельный темп. Будьте готовы потратить от 1 до 3 недель на урок в зависимости от того, насколько хорошо вы знакомы с темами, затронутыми в уроке, при условии, что вы изучаете от 10 до 15 часов в неделю.

Куда обратиться за помощью?

  • Вики-страницы. Одна из вещей, которые мне очень нравятся в fast.ai, - это вики-страницы для каждого урока. В качестве примера я включил ссылку на урок 1 вики. Как видите, существует множество обучающих ресурсов со ссылками на статьи, исследовательские работы и заметки студентов, которые удивительны и могут помочь вам лучше понять видео.
  • Дискуссионный форум - перейдите на http://forums.fast.ai/, если вы застряли или у вас возникнут вопросы. В форуме активно участвуют студенты со всего мира.

Структура курса:

Программа разделена на две части по 7 уроков в каждой. Каждый урок состоит из двухчасового видео и вики-страницы. В каждом видео Джереми описывает код в Jupyter Notebooks и концепции глубокого обучения.

Поскольку лекции были записаны для занятий в классе, а затем преобразованы в онлайн-курсы MOOC, номера записных книжек Jupyter могут не совпадать с номером урока. Также, в зависимости от ваших предварительных знаний, вам могут потребоваться дополнительные учебные материалы, чтобы полностью понять видео.

Другие примечания:

Fast.ai уникален и нестандартен. Он сильно отличается от других программ по следующим параметрам:

  • В нем используется стиль обучения, основанный на принципе «сверху вниз», с упором на практический опыт, а не на теории.
  • Лекции немного скачут между CNN и RNN, в отличие от других программ, где студенты изучают CNN, а затем RNN.
  • В примере кода используется собственная библиотека fast.ai, написанная поверх PyTorch.
  • У него есть собственная страница блога с большой информацией.
  • Возможно, вам потребуется выяснить настройки вашей среды для обучения на графическом процессоре, которые напоминают проблемы, с которыми вы можете столкнуться в реальном мире. (Примечание: мне удалось запустить записные книжки части 1 в Colab с дополнительным кодом для установки пакетов и загрузки наборов данных).
  • Программа фокусируется на методах оптимизации, поэтому точность моделей намного выше, чем у других МООК.
  • На Kaggle вы найдете множество студентов fast.ai, демонстрирующих современные методы, которым они научились в рамках программы.

Совет: если вам не хватает основ машинного обучения или глубокого обучения, вам может быть сложно усвоить этот учебный план. У Fast.ai есть вводные видео по ML. Кроме того, поскольку этот MOOC сильно отличается от других, вам может быть полезно пройти еще один MOOC для глубокого обучения до или после завершения fast.ai.

Ускоренный курс Google ML с TensorFlow API

Ссылка на программу | Стоимость: бесплатно

Темп: самостоятельный темп.

Куда обратиться за помощью?

На meetup.com найдите ближайшую к вам группу разработчиков Google (GDG) и посмотрите, проводят ли они Study Jam. Вы можете присоединиться к Study Jam, чтобы посещать личные занятия и вместе учиться вместе с другими в Интернете.

Другие примечания:

Эта программа использовалась внутри компании для обучения тысяч инженеров Google, а затем в начале 2018 года была открыта для широкой публики. Все концепции хорошо объяснены с визуализацией, чтобы помочь учащимся лучше понять. Например, взгляните на объяснение что такое скорость обучения и упражнение по оптимизации скорости обучения.

Он отлично подходит для обучения основам машинного обучения, прежде чем переходить к нейронным сетям и глубокому обучению. У него также есть очень полезная страница предварительных требований и глянцевая страница ML.

Совет: в этом МООК используется низкоуровневый TensorFlow, который отлично подходит для изучения основ. Вам также следует ознакомиться с руководством по Keras и руководствами на TensorFlow.org, чтобы познакомиться с современными высокоуровневыми API TensorFlow. Все руководства можно открывать и запускать в Google Colab с бесплатным графическим процессором.

Есть много других отличных онлайн-ресурсов для обучения, таких как Школа или искусственный интеллект Сираджи Раваля или Учись от Kaggle.