Глубокое обучение не подходит для новичков, даже для опытных инженеров-программистов и специалистов по обработке данных. Если вы искали эту тему в Google, возможно, вас сбили с толку ресурсы, с которыми вы столкнулись.
Чтобы найти лучшие ресурсы, мы опросили инженеров по их любимым источникам для глубокого обучения, и они рекомендовали именно их.
Эти образовательные ресурсы включают онлайн-курсы, очные курсы, книги и видео. Все они полностью бесплатны и разработаны ведущими профессорами, исследователями и профессионалами отрасли, такими как Джеффри Хинтон, Йошуа Бенжио и Себастьян Трун.
Машинное обучение
Методы глубокого обучения основаны на классических методологиях машинного обучения и часто сочетаются с ними. Если вы не знаете разницы между обучением с учителем и без учителя или думаете, что «градиентный спуск» - это какой-то инструмент Photoshop, вам определенно следует сначала пройти один из следующих курсов, чтобы увлечься.
1) Машинное обучение Эндрю Нг в Стэнфордском университете (онлайн-курс)
Прежде чем Эндрю Нг стал главным научным сотрудником Baidu, он преподавал машинное обучение в Стэнфорде и стал соучредителем Coursera, первой в мире платформы MOOC (массово открытый онлайн-курс). Курс Нг Введение в машинное обучение идеально подходит для инженеров, которым нужен фундаментальный обзор ключевых концепций в этой области.
В дополнение к онлайн-курсу вы захотите ознакомиться с конспектами лекций, наборами задач и примерами кода Matlab в рамках формального курса Ng Stanford’s CS 229 - Machine Learning, предлагаемого в университете.
2) Введение в машинное обучение Себастьяна Труна (онлайн-курс)
Себастьян Трун имеет долгую историю инноваций в области искусственного интеллекта. и технологии автономных транспортных средств, впервые выиграв DARPA Grand Challenge с командой Стэнфордского Стэнли в 2005 году. Он также руководил лабораторией искусственного интеллекта в Стэнфорде, основал подразделение беспилотных автомобилей Google и основал Udacity, еще одну платформу MOOC с отличными предложениями в области машинного обучения и искусственного интеллекта. .
Курс Труна Введение в машинное обучение - это подробное введение в предмет, а также основа для получения наностепенной сертификации аналитика данных, спонсируемой Facebook и MongoDB.
На Udacity также предлагается Введение в искусственный интеллект Труна, в котором преподаются основы искусственного интеллекта. а также такие приложения, как робототехника, компьютерное зрение и обработка естественного языка. Этот курс ведет к нано-степени инженера по машинному обучению, спонсируемой Kaggle.
Глубокое обучение
Несмотря на то, что нейронные сети были изобретены в 1960-х годах, глубокое обучение стало жизнеспособным и популярным только в последние годы из-за стремительного роста объемов больших данных и вычислительной мощности. Изучив основы машинного обучения, вы можете приступить к изучению этой захватывающей новой области искусственного интеллекта.
1) Neural Networks For Machine Learning Джеффри Хинтона (онлайн-курс)
Джеффри Хинтон, которого широко называют отцом глубокого обучения, является профессором Университета Торонто и исследователем Google. В 2012 году лаборатория Хинтона в Университете штата Калифорния внедрила глубокое обучение в средства массовой информации своей неожиданной победой в испытании компании Merck по открытию новых лекарств, несмотря на то, что ни один из членов команды не обладал какими-либо знаниями в области молекулярной биологии. Неожиданно в New York Times стали появляться заголовки вроде Ученые видят перспективу в программах глубокого обучения.
Выпускники лаборатории Хинтона продолжили его наследие. Янн ЛеКун, бывший научный сотрудник лаборатории Хинтона, является ведущим новатором в области сверточных нейронных сетей, а теперь руководит отделом исследований искусственного интеллекта Facebook. Илья Суцкевер стал соучредителем и директором по исследованиям OpenAI (при поддержке Илона Маска). Брендан Фрей, вдохновленный личной трагедией, основал Deep Genomics, стартап, который применяет глубокое обучение в геномной медицине и терапии.
Курс Хинтона Нейронные сети для машинного обучения на Coursera автоматически не превратит вас в блестящего пионера искусственного интеллекта, но этот курс, безусловно, станет полезным началом.
2) Сертификаты Fast.ai и Data Institute Джереми Ховарда (онлайн и личные курсы)
Джереми Ховард был президентом и главным научным сотрудником Kaggle до того, как основал Enlitic, компанию, которая применяет глубокое обучение к медицинским диагнозам и клиническим решениям, а также Fast.ai, образовательный ресурс для инженеров глубокого обучения.
Он также ведет очные курсы глубокого обучения вместе с исследователем Рэйчел Томас в Институте данных Университета Сан-Франциско. Deep Learning Part One охватывает основы глубокого обучения, а Part Two охватывает сложные приложения. Очные курсы с сертификатом не бесплатны, но весь контент доступен на Fast.ai в виде МООК.
Ховард и его команда преподавателей усердно работают над воспитанием разных учеников, потому что они заметили, что искусственный интеллект. промышленность сильно не хватает женщин, цветных людей, ЛГБТК и других меньшинств. Потенциальным студентам, которые попадают в эти недопредставленные группы, рекомендуется подать заявку на получение стипендии по разнообразию, чтобы принять участие.
3) Глубокое обучение Йошуа Бенжио и Яна Гудфеллоу (книга)
Йошуа Бенжио, профессор Монреальского университета, - еще одна ведущая фигура, движущая вперед индустрию глубокого обучения. Его статьи были процитированы в Google Scholar более 40 000 раз. Его бывший ученик, Ян Гудфеллоу, сейчас является исследователем в OpenAI и наиболее известен благодаря изобретению Генеративных состязательных сетей.
Их книга Deep Learning, опубликованная MIT Press, находится в свободном доступе в Интернете и для удобства включает в себя практические занятия по математике по линейной алгебре, теории вероятностей и числовым вычислениям перед тем, как углубиться в основные концепции глубокого обучения.
4) Нейронные сети и глубокое обучение Майкла Нильсена (книга)
Постоянно развивающуюся книгу Майкла Нильсена Нейронные сети и глубокое обучение рекомендовали снова и снова. Нильсен, научный сотрудник YCombinator Research, предпочитает объяснять основные принципы интуитивно понятными и запоминающимися способами, а не погружать вас в туманное понимание длинного перечня идей.
Книга Нильсена нацелена на то, чтобы научить вас решать конкретную проблему - научить компьютер распознавать рукописные цифры - с помощью нейронных сетей. Вы начинаете с простой нейронной сети и постепенно улучшаете свой код по мере появления новых концепций.
Если вы не очень хорошо разбираетесь в математике, необходимой для глубокого обучения, или не являетесь опытным программистом, книга Нильсена особенно подходит для начинающих. Код для упражнений курса написан на Python 2.7 и относительно прост для понимания, даже если вы обычно не используете этот язык.
5) Глубокое обучение с TensorFlow (онлайн-курс)
Освоив концептуальные основы глубокого обучения и нейронных сетей с использованием любого из предыдущих ресурсов, вы захотите овладеть инструментами, позволяющими претворить теорию в жизнь. Несмотря на то, что существует множество фреймворков и библиотек глубокого обучения, TensorFlow от Google быстро стал одним из самых популярных и поддерживаемых.
Онлайн-курс Udacity Deep Learning by Google ведет Винсент Ванхаук, главный научный сотрудник Google и технический руководитель группы Google Brain. Курс предполагает среднее и продвинутое понимание концепций машинного и глубокого обучения и расширяет ваши знания до обучения логистическим классификаторам, простым глубоким сетям, сверточным и рекуррентным нейронным сетям с TensorFlow.
Веб-сайт TensorFlow также предлагает обучающие программы для начинающих и продвинутых и сильную поддержку сообщества. Видео с их последних сводов разработчиков доступны здесь и описывают множество новых функций.
6) Oxford Deep NLP Course (ВИДЕО И ЛЕКЦИИ)
Для тех из вас, кто интересуется обработкой и пониманием естественного языка, Оксфорд недавно опубликовал видеоролики и лекции из своего курса Глубокая обработка естественного языка, проводимого такими экспертами DeepMind, как Фил Блансом и Крис Дайер. Этот продвинутый и прикладной курс охватывает такие темы НЛП, как анализ скрытых измерений в тексте, преобразование речи в текст, машинный перевод и системы вопросов и ответов.
7) Архив видео конференций NIPS (видео)
Продвинутые практики глубокого обучения ежегодно стекаются на все более популярную конференцию NIPS (Neural Information Processing Systems), чтобы услышать, как ведущие исследователи представляют свои революционные статьи и открытия.
Если вы пропустили конференцию в прошлом или просто не можете принять участие в мероприятии лично, посмотрите видеоархивы NIPS из 2015 и 2016.
8) Научные статьи
Ежедневно публикуются новые статьи в области искусственного интеллекта и глубокого обучения. Google Scholar, ArXiv и Research Gate - отличные репозитории для начала, но существует гораздо больше коллекций.
Если вам интересно, с каких статей начать, вот начальный список основополагающих исследовательских работ для чтения. Как только вы начнете читать статьи, Андрей Карпати создал полезный инструмент под названием ArXiv Sanity, который будет рекомендовать связанные работы.
Чтобы получать уведомления о новых статьях, вы можете подписаться на RSS-каналы этих двух разделов ArVix: компьютерное обучение и машинное обучение. Самые популярные статьи также обычно появляются на Reddit Machine Learning или Hacker News.
Если у вас есть Amazon Echo и вы хотите заниматься компьютерными играми без помощи рук, вы можете использовать ArXivML, навык Alexa, который прочитает за вас последние аннотации.
Заключение
Лучшие умы в области искусственного интеллекта свободно предлагают широкий спектр образовательных ресурсов, поэтому каждый, кто интересуется глубоким обучением, должен иметь возможность найти контент, соответствующий их стилю и уровню обучения.
Новички могут начать с онлайн-курса Эндрю Нг и доступной книги Майкла Нильсена, а продвинутые инженеры могут сразу погрузиться в классический курс Джеффри Хинтона Нейронные сети, начать изучать Tensorflow и оставаться в курсе последних научных исследований.
Пропустили ли мы какие-либо образовательные ресурсы по глубокому обучению от лидеров отрасли? Пожалуйста, дайте нам знать в комментариях ниже. И загляните в наш блог, чтобы увидеть больше подобных статей.
