Каждую неделю публикуются новые статьи по глубокому обучению, которые часто основываются на предыдущих статьях (нормальный путь в науке). Следовательно, важно получить хороший обзор некоторых точек входа в различные подтемы в глубоком обучении. Я представлю десять работ, которые были особенно важны в последние несколько лет, и которые дадут вам хорошую основу для понимания более сложных работ. Я предполагаю, что вы уже знакомы с основами многослойных персептронов, обратного распространения ошибок и CNN.
Эта статья разделена на пять тем: обучение / оптимизация, CNN / обнаружение объектов, генеративные состязательные сети, обработка естественного языка и обучение с глубоким подкреплением.
Я думаю, что все статьи являются хорошей отправной точкой для более сложных работ по соответствующей подтеме.
Обучение / оптимизация:
1. Исключение: простой способ предотвратить переоснащение нейронных сетей
Отсев - это метод улучшения обобщения DL-модели. Он случайным образом отбрасывает нейроны вместе со своими весами на каждом этапе обучения. Это можно рассматривать как тренировку ансамбля моделей с одинаковыми весами и их последующее комбинирование. Некоторые результаты показывают, что тестовая ошибка может быть значительно уменьшена с помощью Dropout.
На этапе пакетной нормализации нормализует каждую активацию слоя через среднее значение и стандартное отклонение активации во всей партии. Это приводит к активациям со значениями около нуля, что, в свою очередь, приводит к большим градиентам во время обучения и, следовательно, к решению проблемы исчезающего градиента.
3. Адам: метод стохастической оптимизации
Оптимизатор Adam - наиболее распространенный оптимизатор, используемый в машинном обучении. Поэтому полезно заглянуть под капот. В частности, добавление импульсного члена, кажется, улучшает оптимизацию по сравнению со стандартным стохастическим градиентным спуском.
CNN / Обнаружение объектов:
4. Визуализация и понимание сверточных сетей
CNN или NN в целом являются (были) более или менее черными ящиками в том смысле, что их параметры на самом деле не поддаются интерпретации. Следовательно, необходимо лучше понимать, как они приходят к своим решениям. В этом документе показана возможность визуализации функций, изученных фильтрами на разных уровнях, и, следовательно, того, как CNN приходит к своему решению для определенного класса.
5. Вы только посмотрите один раз: унифицированное обнаружение объектов в реальном времени
Когда дело доходит до прогнозирования ограничивающих рамок, модель YOLO была прорывом, потому что, как следует из названия, она может обнаруживать несколько объектов на изображении и назначать им ограничивающие рамки только за один проход вперед. Это делает обнаружение объектов очень быстрым и даже пригодным для использования в видеоприложениях в реальном времени.
6. Полностью сверточные сети для семантической сегментации
Помимо ограничивающих рамок, семантическая сегментация является вторым основным типом обнаружения объектов. Здесь FCNN показали неплохие результаты. FCNN состоит только из слоев свертки и деконволюции и не содержит полностью связанных слоев. Это позволяет FCNN напрямую отображать локальные части изображения в ту же локальную часть карты семантической сегментации.
Генеративные состязательные сети:
7. Генеративные состязательные сети
По сравнению с другими основными задачами NN и CNN, Generative Adversarial Nets не пытается классифицировать объекты и классы из многомерного пространства, а пытается брать образцы из многомерного пространства. Две сети играют в игру для двух игроков, в которой генератор пытается сгенерировать выборки из распределения некоторых данных, а дискриминатор пытается выяснить, пришла ли выборка из генератора или из реальных данных. Это приводит к тому, что генератор успешно генерирует образцы из распределения.
8. Улучшенные методы обучения GANS
Когда дело касается тренировок, у GAN возникают различные проблемы. Во-первых, это коллапсы режимов, что означает, что генератор производит только один (или несколько разных) образцов, которые хотя и выглядят очень похоже на реальные образцы, но генератор не сходится с реальным распределением данных. Эта проблема в основном решается в этой статье с помощью openAi.
Обработка естественного языка:
9. Эффективная оценка представлений слов в векторном пространстве
Когда дело доходит до НЛП с глубоким обучением, основной задачей является представление слов в векторном пространстве. В так называемом методе word2vec, представленном в этой статье, нейронная сеть пытается предсказать следующее слово в предложении и извлекает из первого слоя векторное представление слова. Следовательно, слова, которые встречаются в предложении в аналогичном контексте, находятся ближе в соответствующем векторном пространстве.
Глубокое обучение с подкреплением:
10. Игра в Atari с глубоким обучением с подкреплением
Эта работа стала крупным прорывом в обучении с подкреплением, в котором Q-функция была представлена как глубокая нейронная сеть. Google Deepmind добился высокой производительности в различных играх Atari с этой архитектурой, что свидетельствует о большой способности к обобщению. В документе также объясняется общая концепция Q-Learning и Deep-Q Learning.
Я надеюсь, что этот обзор может дать вам некоторую полезную информацию и помочь вам начать работу с более сложными статьями по машинному обучению.
Чтобы узнать больше о машинном обучении и искусственном интеллекте, посетите matthias-bitzer.de.
