Вчера я закончил курс машинного обучения Эндрю Нг на Coursera. С сегодняшнего дня я хочу пройти первый курс специализации Эндрю — «Нейронные сети и глубокое обучение». Кажется, что эта серия специализаций охватывает более свежие темы машинного обучения по сравнению с традиционным МО Coursera. Я очень рад видеть, что я могу узнать из этих специализаций.
Обзор
Давайте сначала кратко рассмотрим последние тенденции в машинном обучении. Затем мы углубимся в темы по ходу курса.
РеЛУ
ReLU расшифровывается как Rectified Linear Unit. Эта функция заменила традиционную сигмовидную функцию в нейронных сетях. Функция ReLU выглядит следующим образом:
Оказывается, ReLU лучше, чем сигмовидная функция, потому что с помощью функции ReLU сети могут обучаться быстрее.
Нейронная сеть
Помимо стандартной нейронной сети существует два новых типа нейронных сетей — сверточная нейронная сеть (CNN) и рекуррентная нейронная сеть (RNN).
CNN особенно хорошо работает с распознаванием изображений и широко используется в компьютерном зрении. RNN очень хорошо работает с непрерывным потоком данных и очень полезен в таких приложениях, как обработка естественного языка.
Глубокое обучение
Почему глубокое обучение вдруг стало популярным? Идея нейронной сети уже существовала 20 лет назад. Это связано с увеличением объема данных и ростом вычислительной мощности компьютеров.
Как мы видим на графике выше, когда у нас было всего несколько данных, производительность нейронной сети ничем не отличалась от других простых алгоритмов обучения. Но чем больше у нас данных, мы можем легко увидеть, что производительность в какой-то момент перестает расти с традиционными алгоритмами обучения. Но производительность продолжает расти вместе с нейронной сетью. Таким образом, тенденция к глубокому обучению резко возросла, поскольку у нас появилось больше данных для обработки алгоритмов.
Это все на сегодня.
