Новости машинного обучения Акиры

Избранные статьи/новости на этой неделе

Предложен метод маскирования изображения и предварительной подготовки модели для его восстановления, наподобие BERT. 75% изображения замаскировано, и только 25% немаскированного изображения вводятся в кодировщик, что кажется удобным для памяти.
Представлена модель генерации изображений, представляющая собой комбинацию модели диффузии и модели языка масок. Кажется, что он может регулировать качество генерации, адаптируя его к имеющимся вычислительным ресурсам.

— — — — — — — — — — — — — — — — — — –

В следующих разделах я представлю различные статьи и документы не только по вышеуказанному содержанию, но и по следующим пяти темам.

Избранные статьи/новости на этой неделе
Пример использования машинного обучения
Документы
Статьи, связанные с технологией машинного обучения

— — — — — — — — — — — — — — — — — — –

1. Избранные статьи/новости на этой неделе

Изучение ViT, скрыв изображение маской и восстановив его — arxiv.org

[2111.06377] Маскированные автоэнкодеры — это масштабируемые обучающиеся зрительного восприятия
Они предлагают MAE (маскированные автоэнкодеры), которые могут достигать 87,8 % только в ImageNet, маскируя изображения и восстанавливая их с помощью обучения с самоконтролем, даже несмотря на то, что в нем используются модели на основе ViT. Предлагаемый метод скрывает большую часть изображения (например, 75%) и учится восстанавливать его и показывает более высокую производительность, чем существующие методы обучения с самоконтролем, такие как DINO и MoCo v3.

Модель, сочетающая авторегрессионную и диффузионную модели — arxiv.org

[2110.02037] Авторегрессионные диффузионные модели
Предлагаемые ARDM (авторегрессивные диффузионные модели), представляющие собой комбинацию авторегрессионной и диффузионной моделей. В отличие от авторегрессионных моделей, которые последовательно регрессируют от верхнего левого угла к нижнему правому, ARDM обучаются воспроизводить случайно выбранные точки из входных данных, что может быть похоже на модели маскированного языка BERT.

— — — — — — — — — — — — — — — — — — –

2. Пример использования машинного обучения

Защита сексуальных меньшинств с помощью преобразования голоса с помощью Deep Fake — www.wired.com

Эти дипфейковые голоса могут помочь транс-геймерам
Фред, транс-мужчина, щелкнул мышью, и его тенорный тон внезапно стал глубже. Он включил изменение голоса…www.wired.com

Трансгендеров могут преследовать за несоответствие голоса и пола, но использование Deep Fake для преобразования голоса может предотвратить такое преследование. Это облегчит сексуальным меньшинствам участие в онлайн-сообществе, которое им было трудно сделать.

Преодоление языковых барьеров с помощью многоязычных моделей чат-ботов — venturebeat.com

Как платформа искусственного интеллекта Moveworks преодолела многоязычный барьер НЛП
Узнайте от ИТ-директоров, технических директоров и других руководителей высшего и высшего звена о стратегиях работы с данными и ИИ в будущем работы Встреча на высшем уровне…venturebeat.com

Это введение в чат-бот, разработанный Moveworks, который использует многоязычную языковую модель. В глобальной компании это означает, что люди, говорящие на разных языках, могут получать поддержку без необходимости создавать центры поддержки в разных странах.

— — — — — — — — — — — — — — — — — — –

3. Документы по машинному обучению

Проверка табличных данных с помощью различных моделей глубокого обучения — arxiv.org

[2106.11959] Revisiting Deep Learning Models for Tabular Data
Исследование, в ходе которого тестировались различные модели глубокого обучения на табличных данных, показало, что модели на основе ResNet надежны и что FT-Transformer, который токенизирует функции, является хорошей базой, но не значительно превосходит методы, основанные на GBDT.

›

Совет-адаптер для быстрого обучения без обучения — arxiv.org

[2111.03930] Tip-Adapter: CLIP-адаптер, не требующий обучения, для лучшего моделирования зрительного языка
Усовершенствовав CLIP-Adapter, они предложили Tip-Adapter, который выполняет обучение за несколько шагов без обновления параметров. Сходство между тестовым изображением и набором данных Few-shot измеряется, и выходные данные категории основаны на сходстве и текстовой информации.

Метод, который можно напрямую применить к существующим методам обнаружения объектов для повышения точности. — arxiv.org

[2111.03056] Начальная загрузка вашего детектора объектов с помощью смешанного обучения
Предлагается смешанное обучение, которое заменяет существующие метки GT прогнозированием с высокой достоверностью при обнаружении объектов и контролирует степень увеличения данных в зависимости от сложности выборки. Его можно напрямую применять к существующим методам обнаружения объектов для повышения точности.

Исправление является причиной нестабильности обучения в ViT. — arxiv.org

[2106.14881] Ранние свертки помогают трансформерам видеть лучше
ViT менее стабилен в обучении, чем CNN, но авторы утверждали, что причиной этого является исправление начального слоя. Заменив первоначальное исправление 16x16 обычным Conv в сочетании с 3x3 Conv и т. д., ViT становится устойчивым к колебаниям скорости обучения, быстрее сходится и превосходит модель SotA CNN.

Дополнение данных AugMax для изучения разнообразия и образцов высокой сложности. — arxiv.org

[2110.13771] AugMax: состязательная композиция случайных дополнений для надежного обучения
Предлагаемый AugMax, который ищет более мощные дополнения данных, используя параметры обучения для смешивания дополнений данных. DuBIN также предлагается разделить разнообразие на уровне отдельных экземпляров и пакетов с помощью Instance Norm и BatchNorm, потому что это слишком сложно для изучения. Авторы утверждают, что он может изучать разнообразие и образцы высокой сложности.

Сравнение надежности CNN и Transformer — arxiv.org

[2111.05464] Являются ли Transformers более надежными, чем CNN?
Transformer считается более надежным, чем CNN, но когда методы обучения, такие как обучающие данные и аугментация данных, согласованы, CNN может достичь того же уровня устойчивости к атакам злоумышленников, что и Трансформер. Однако для данных с выбросами, таких как ImageNet-A и -C, Transformer оказался сильнее.

— — — — — — — — — — — — — — — — — — –

4. Технические статьи

На что обратить внимание в проекте с использованием методов науки о данных — towardsdatascience.com

Как избежать 4 основных ошибок в проектах по обработке и анализу данных
Работа над проектом по анализу данных, особенно с новым заинтересованным лицом, может быть сложной задачей. Узнайте, как избежать основного…towardsdatascience.com

Статья о том, на что следует обратить внимание в проекте с использованием методов науки о данных. В нем обсуждаются неорганизованные данные и конфликты с заинтересованными сторонами.