Две недели назад наша исследовательская группа по глубокому обучению провела особенно веселую и увлекательную сессию.
Это была наша первая встреча после завершения работы над текстом Нейронные сети и глубокое обучение Майкла Нильсена. Работа Нильсена предоставила нам прочную основу для более тщательного изучения сверточных нейронных сетей, которые являются стандартом де-факто в современных приложениях машинного зрения.
На Сессии 6 мы углубились в первую треть лекций широко разрекламированного курса Сверточные нейронные сети для визуального распознавания, который вел знаменитый Фей-Фей Ли из Стэнфорда, Андрей Карпати и Джастин Джонсон.
Что касается теории, мы рассмотрели:
- истории зрения как у биологических организмов, так и у машин (см. мои заметки по теме)
- традиционные алгоритмические подходы к классификации изображений, например, k-ближайшие соседи
- классификация изображений с помощью моделей линейной регрессии, включая феноменальную интерактивную визуализацию подхода Карпати
- стратегии оптимизации для минимизации функции потерь с упором на вездесущий стохастический градиентный спуск
- алгоритм обратного распространения, который заметно улучшает вычислительную управляемость обучения с помощью глубоких нейронных сетей.
В дополнение к теории колоритный участник исследовательской группы Дмитрий Нестеренко, который является директором по разработке программного обеспечения в XO Group в центре города, вошел в значительные, полезные подробности, описывая свои приключения при написании k-Реализация ближайших соседей с нуля с библиотекой NumPy.
Наконец, приняв ценные предложения от многих присутствующих, мы составили примерный план темы, которую будем обсуждать на следующих сессиях:
- остальные лекции и заметки CS231n, разделенные на две сессии
- Курсы и материалы RNN/LSTM от Ричарда Сочера и Криса Олаха
- практическое руководство по TensorFlow с инженерами из офиса Google в Нью-Йорке
- Дорожная карта чтения документов для глубокого обучения
