Некоторые (в основном недавние) исследования, которые могут представлять интерес.
Название/комментарий/аннотация/ссылка.
Глубокое обучение: критическая оценка
«Получите достоверные данные. Организуйте и пометьте это хорошо. Он понадобится вам через несколько лет, когда методы, которые вы используете сегодня, станут мусором и заменены лучшими методами». Я разговариваю с командами ИИ. (Можно ли цитировать себя?)
Хотя глубокое обучение имеет исторические корни, уходящие в глубь веков, ни термин «глубокое обучение», ни сам подход не были популярны чуть более пяти лет назад, когда эту область возродили такие статьи, как Крижевский, Суцкевер и ставшая уже ставшей классикой работа Хинтона 2012 года (Крижевский, Суцкевер, & Hinton, 2012) модель глубокой сети Imagenet. Что открыло месторождение за пять последующих лет? На фоне значительного прогресса в таких областях, как распознавание речи, изображений и игр, а также значительного энтузиазма в популярной прессе, я представляю десять проблем глубокого обучения и предлагаю, чтобы глубокое обучение было дополнено другими методами, если мы достичь искусственного общего интеллекта.
https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf
Обыкновенные дифференциальные уравнения нейронной сети
Через год после публикации вышеупомянутой статьи в этой статье делается попытка ответить (по крайней мере, частично) на проблему ограничений глубокого обучения.
Что происходит, когда данные распределяются крайне неравномерно? Ваши слои становятся странными, особенно со временем и по мере того, как ваши входные данные группируются в разных областях. Это приводит к шатким выводам. (Wonky = в лучшем случае непоследовательный; в худшем — просто плохой.) Итак, вместо дискретных слоев, как насчет непрерывной (например, нефиксированной) модели? Ньютон снова побеждает.
Мы представляем новое семейство моделей глубоких нейронных сетей. Вместо указания дискретной последовательности скрытых слоев мы параметризуем производную скрытого состояния с помощью нейронной сети. Выход сети вычисляется с помощью решателя дифференциальных уравнений черного ящика. Эти модели с непрерывной глубиной имеют постоянную стоимость памяти, адаптируют свою стратегию оценки к каждому входу и могут явно обменивать числовую точность на скорость. Мы демонстрируем эти свойства в остаточных сетях с непрерывной глубиной и моделях скрытых переменных с непрерывным временем. Мы также создаем непрерывные нормализующие потоки, генеративную модель, которая может обучаться по максимальному правдоподобию, без разделения или упорядочения измерений данных. Для обучения мы покажем, как масштабируемое обратное распространение через любой решатель ODE без доступа к его внутренним операциям. Это позволяет проводить сквозное обучение ОДУ в рамках более крупных моделей.
https://arxiv.org/pdf/1806.07366.pdf
Байесовская нейронная сеть
Итак, существуют различные методы контроля переобучения в нейронных сетях, но как насчет меры неопределенности прогноза? Как насчет поддержки Байеса? Не уверен, насколько это практично в больших масштабах, но очень интригующе, и я бы спросил об этом у своего запасного ИИ. исследователей (если они у меня были).
Подробное объяснение: https://github.com/kumar-shridhar/Master-Thesis-BayesianCNN
Реализация PyTorch: https://github.com/kumar-shridhar/PyTorch-BayesianCNN
О Натане Аллене
Ранее работал в Xio Research, специалист по искусственному интеллекту. компания по технике. Ранее руководил стратегией и развитием в IBM Watson Education. Его взгляды не обязательно отражают чьи-либо взгляды, в том числе и его собственные. (Что.) Академическое образование Натана связано с интеллектуальной историей; его следующая книга, Оружие выбора, исследует создание американской идентичности и современной силы Запада. Не слишком волнуйтесь, Weapon of Choice не о войнах, а скорее о кажущемся ex nihilo развитии индивидуального агентства… которое на самом деле не кажется привлекательным до тех пор, пока вы считаете, что отдельное агентство покрывает все, от права голоса до наличных денег в вашем кошельке, до причин, по которым массовая коммуникация вообще имеет смысл….
