Вот некоторые документы и статьи, которые показались мне особенно интересными и которые я прочитал на 50-й неделе 2020 года (6 декабря~). Я постарался представить как можно больше самых последних, но дата подачи статьи может не совпадать с неделей.
Темы
- Документы по машинному обучению
- Технические статьи
- Примеры использования машинного обучения
- Другие темы
— Подборка еженедельного редактора
- Различия между диагностикой врача и модели глубокого обучения
- Исследование роли нейронов в нейронных сетях
- Сравнение рекомендаций по человеческому и машинному обучению
— Прошлые статьи
Неделя 49 ⇦ Неделя 50 (этот пост) ⇨ Неделя 51 (ненаписано)
Итоги за ноябрь 2020 года
Итоги за октябрь 2020 года
Итоги за сентябрь 2020 года
— — — — — — — — — — — — — — — — — — — — — — — — — —
1. Документы по машинному обучению
— —
Регуляризация для вырезания части сети
GradAug: новый метод регуляризации для глубоких нейронных сетей
https://arxiv.org/abs/2006.07989
Они предлагают GradAug, который предоставляет подсеть с некоторыми весами, вырезанными из сети, и ограничивает вывод подсети изображения с дополненными данными, чтобы он соответствовал выводу исходной сети. Устойчивость к враждебным возмущениям, а также повышенная точность классификации и обнаружения объектов.
Исследование оптимального размера партии
Измерение влияния параллелизма данных на обучение нейронной сети
https://arxiv.org/abs/1811.03600
Исследование, изучающее взаимосвязь между размером партии и точностью, размером модели и наборами данных. Результаты показывают, что некоторые модели становятся более точными с большими размерами пакетов, оптимальная скорость обучения не увеличивается линейно с размером пакетов, импульсные системы становятся более точными с большими, чем обычно, размерами пакетов SGD и т. д.
Успешно достигнуто 16-кратное сверхвысокое разрешение с помощью механизма, использующего тот факт, что вывод не определяется однозначно.
Создание невидимых альтернатив
https://arxiv.org/abs/2011.01926
Для задачи, в которой выход не определяется однозначно для входа, как в генеративной модели, предлагается неявная оценка максимального правдоподобия (IMLE), которая использует несколько случайных кодов и входных данных для генерации, а затем выбирает один ближайший к правильному ответ для обучения. . Успешно достигнуто 16-кратное суперразрешение.
Генеративная модель CIPS без сверточного слоя
Генераторы изображений с условно независимым синтезом пикселей
https://arxiv.org/abs/2011.13775
Они предлагают генеративную модель CIPS без сверточного слоя. Он имеет механизм для встраивания скрытых переменных в каждый слой с помощью нелинейных преобразований скрытых переменных, таких как StyleGAN, и позиционного кодирования для добавления позиционной информации с помощью преобразования координат Фурье и т. д.
Использование машинного обучения для систем раннего предупреждения о землетрясениях
Подход к раннему предупреждению о землетрясениях с использованием распределенного мультисенсорного машинного обучения
В системе раннего оповещения о землетрясениях (EEW) каждый из двух традиционных методов с использованием датчиков имеет некоторые недостатки. Определив их как проблемы классификации сейсмического масштаба и построив модель с использованием kNN, мы значительно улучшили качество прогнозирования сильных землетрясений.
различия между диагнозом врача и моделью глубокого обучения.
Различия между человеческим и машинным восприятием в медицинской диагностике
https://arxiv.org/abs/2011.14036
Изучение различий между диагнозом врача и моделью глубокого обучения. Глубокое обучение опирается на высокочастотную составляющую изображения, и в зависимости от задачи прохождение фильтра нижних частот значительно ухудшало точность больше, чем врач. Они также подтвердили, что в силу парадокса Симпсона они не могут правильно оценить производительность без включения медицинских знаний в метод оценки.
Обрезка человека в реальном времени при использовании обычного фона
Действительно ли необходим зеленый экран для матирования портретов в реальном времени?
https://arxiv.org/abs/2011.11961
Исследование обрезки человеческого изображения в реальном времени без зеленого или синего однородного фонового изображения. Стратегия заключается в обучении модели с учителем, а затем в самоконтролируемом обучении с немаркированными данными для настройки модели на соответствие трем задачам, граничным прогнозам для прогнозов маски с низким/высоким разрешением.
— — — — — — — — — — — — — — — — — — — — — — — — — —
2. Технические статьи
— —
Исследование роли нейронов в нейронных сетях
В этой статье представлен пример обученной сети (обученной ImageNet InceptionV1), в которой паттерны, обнаруженные нейронами, меняются с эквивалентности на инвариантность. Среди нейронов, обнаруживающих определенный паттерн, есть группа нейронов, чей паттерн становится эквивалентным при применении такого преобразования, как вращение. В статье представлен пример того, как эти нейроны и весовые матрицы могут быть объединены для создания нейронов, инвариантных к операциям (таким как вращение) на следующем слое. То же явление наблюдалось не только для вращательной инвариантности, но и для цвета и масштаба.
— — — — — — — — — — — — — — — — — — — — — — — — — —
3. Примеры использования машинного обучения
— —
Глубокое обучение с подкреплением заставляет воздушные шары дольше оставаться в воздухе.
Loon, дочерней компании Alphabet, удалось создать воздушный шар, который действует как базовая станция и оснащен контроллером, управляемым методом глубокого обучения с подкреплением, и может оставаться в воздухе в течение 312 дней. Это значительное улучшение по сравнению с предыдущим рекордом в 223 дня с контроллером. Он сможет обеспечить доступ в интернет десяткам тысяч жителей отдаленных районов.
Сравнение рекомендаций по человеческому и машинному обучению
Статья, в которой сравниваются рекомендации по человеческому и машинному обучению. Результаты показывают, что машинное обучение лучше, чем люди, когда дело доходит до практических рекомендаций, таких как воздухопроницаемость пальто или компьютера, в то время как люди лучше рекомендуют сенсорные ощущения и продукты, такие как вино, ароматы или ткань пальто. Знание этих характеристик поможет вам наилучшим образом использовать ИИ в реальных приложениях.
— — — — — — — — — — — — — — — — — — — — — — — — — —
4. Другие темы
— —
Uber продает беспилотный автомобиль
Uber продал собственное исследовательское подразделение Advanced TechnologiesGroup по разработке беспилотных автомобилей стартапу Aurora. Похоже, что компания переориентируется на свой основной бизнес — услуги по доставке автомобилей и доставку еды.
— — — — — — — — — — — — — — — — — — — — — — — — — —
— Прошлые статьи
Неделя 49⇦ Неделя 50 (этот пост) ⇨ Неделя 51
Итоги за ноябрь 2020 года
Итоги за октябрь 2020 года
Итоги за сентябрь 2020 года
— — — — — — — — — — — — — — — — — — — — — — — — — —
