Неделя 23 (с 6 июня) 2021 г.
Избранные статьи/новости на этой неделе.
- Было опубликовано исследование надежности Vision Transformer. В другой статье показано, что по сравнению с CNN ViT основан на форме (CNN основаны на текстуре), что подкрепляется тем фактом, предложенным в этой статье, что враждебный патч имеет немного больший размер. Это подкрепляется тем фактом, что враждебный патч имеет немного большую структуру.
- Исследование показало, что MLP-Mixer и ViT более склонны к попаданию в локальные оптимальные решения по сравнению с ResNet. MLP-Mixer и ViT требуют очень больших наборов данных, но если мы сможем уменьшить объем данных, необходимых с помощью этих методов обучения, мы будем на один шаг ближе к практическим приложениям.
Машинное обучение в реальном мире
- Вот статья, в которой исследуется, как ИИ используется в борьбе с Covid-19. В нем обсуждаются преимущества огромного распространения автоматизированных средств наблюдения с ношением масок и плотным присутствием людей, а также этические проблемы, возникающие из-за того, что их трудно снять.
- В статье обсуждается непонимание ИИ среди руководителей предприятий, в которой говорится, что, хотя ИИ очень мощный, есть такие проблемы, как предвзятость, о которых должны знать те, кто его использует.
Документы
- Было опубликовано исследование, в котором снова исследуется аугментация данных. Расширение данных становится все более и более важным на практике, и они изучают, как его эффективно использовать различными способами. По сути, кажется, что чем сильнее увеличение данных, тем лучше.
- Было проведено некоторое исследование по применению структуры контрастивного обучения к обучению с учителем. Поскольку мы часто используем контролируемое обучение на практике, нас очень интересуют способы дальнейшего развития контролируемого обучения с использованием современных технологий.
— — — — — — — — — — — — — — — — — — –
В следующих разделах я представлю различные статьи и документы не только по вышеуказанному содержанию, но и по следующим пяти темам.
- Избранные статьи/новости на этой неделе
- Пример использования машинного обучения
- Документы
- Статьи, связанные с технологией машинного обучения
- Другие темы
— — — — — — — — — — — — — — — — — — –
1. Избранные статьи/новости на этой неделе
[2103.14586] Понимание надежности трансформаторов для классификации изображений
Исследование, изучающее надежность ViT. ViT, обученный на достаточном количестве данных, так же устойчив к атакам со стороны ResNet, как и ResNet, но паттерны состязательного шума сильно отличаются от ResNet и демонстрируют несколько более крупные структурные паттерны. Они также обнаружили, что на задачу восприятия формы больше влияет размер патча, чем размер модели ViT.
Приведение ViT и MLP-Mixer в соответствие с ResNet
[2106.01548] Когда Vision Transformers превосходит ResNet без предварительной подготовки или сильных дополнений к данным
MLP-Mixer и ViT склонны к локальным оптимумам, которые можно улучшить, используя оптимизатор SAM для сглаживания функции потерь. Точность значительно улучшена и достигает того же уровня, что и ResNet, путем обучения ImageNet.
— — — — — — — — — — — — — — — — — — –
2. Пример использования машинного обучения
Сделки с ИИ в Китае ускоряются
Статья о том, как Китай расширяет применение технологий ИИ для инвестиций. Из прочтения статьи кажется, что находка под названием ZheshangFund использует алгоритм, использующий мультиагентное обучение с подкреплением для выбора инвестиций.
В этой статье обобщается использование ИИ в борьбе с Covid-19 с пяти точек зрения, включая клиническое применение, предоставление информации и оценку безопасности. В нем говорилось, что ИИ широко используется для наблюдения, но после развертывания его трудно отменить, и важно обеспечить прозрачность и т. д.
Руководители плохо понимают ИИ
Многие компании вкладывают больше средств в ИИ, но высшее руководство по-прежнему не понимает эту технологию. Согласно статье, в которой утверждается, что мощный ИИ требует ответственности, потому что руководители не понимают этики и справедливости ИИ.
— — — — — — — — — — — — — — — — — — –
3. Документы
Применение контрастных потерь к контролируемому обучению
Исследование применения потери контрастного обучения к обучению с учителем. В отличие от обычного контрастного обучения без учителя, они обрабатывают данные с той же меткой, что и положительные примеры, и выполняют на них контрастное обучение. Лучшие результаты, чем AutoAugment, Mixup и т. д.
Обнаружение объекта в виде Seq2Seq — arxiv.org
[2106.00666] Вы смотрите только на одну последовательность: переосмысление трансформатора в видении посредством обнаружения объектов
Обнаружение объектов в виде Seq2Seq на основе ViT с минимальными изменениями: добавление токенов DET и обучение с сопоставлением потерь; предварительное обучение с помощью ImageNet и его адаптация для обнаружения объектов с достижением точности YOLOv4-tiny.
Изучение того, как принимать пакеты для нормализации
[2105.07576] Переосмысление «Пакетной обработки» в BatchNorm
Исследование, изучающее, как взять партии для нормализации партии. Это показывает, что использование непротиворечивой статистики населения для обучения может уменьшить расхождения между обучением и тестированием и что важно знать, какие партии используются для оптимизации и какие данные используются для расчета статистики населения.
Связь между силой увеличения данных и точностью
[2105.13343] Отрисовка нескольких образцов дополнений на изображение во время обучения эффективно снижает ошибку теста
Исследование, изучающее взаимосвязь между силой увеличения данных и точностью. Предполагается, что изменение ожидаемого значения градиента из-за введения аугментации данных вносит больший вклад в точность, чем дисперсия градиента. Также было обнаружено, что чем сильнее аугментация данных, тем выше точность может быть достигнута с меньшими вычислительными ресурсами. Эта тенденция более выражена при использовании больших мини-партий.
[2105.14217] Меньше значит больше: уделяйте меньше внимания трансформерам Vision
Так как Само-Внимание стоит четвертой степени размера изображения, они предлагают LIT, который берет локальную информацию с MLP на начальном уровне и использует Само-Внимание во второй половине. Они также используют такой механизм, как Deformable Conv. Они добились результатов в обнаружении объектов и классификации изображений.
— — — — — — — — — — — — — — — — — — –
4. Статьи, связанные с технологиями машинного обучения
Обучения с подкреплением достаточно для общего ИИ
[Ученые DeepMind: обучения с подкреплением достаточно для общего ИИ — TechTalks]
Статья, объясняющая статью под названием «Ревада достаточно». В нем утверждается, что интеллект и связанные с ним способности возникают не в результате формулирования и решения сложных проблем, а в результате соблюдения простого, но действенного принципа: максимизация вознаграждения.
Как использовать Kaggle с Google Диском и Colab Pro
Статья, объясняющая, как использовать Google Диск и Colab Pro для загрузки данных Kaggle и запуска экземпляра Colab.
— — — — — — — — — — — — — — — — — — –
5. Другие темы
Регулирование ИИ в Европейском Союзе — www.lawfareblog.com
В этой статье кратко изложены правила Европейского Союза в области искусственного интеллекта. В нем говорится, что ИИ в таких областях, как пограничный контроль и демократическое управление процессами, будет регулироваться с соблюдением человеческого надзора и прозрачности.
Сегментация с помощью Lightning Flash
Семантическая сегментация может быть выполнена с помощью Lightning Flash, который является простым способом описания обучения и вывода моделей. Как вы можете видеть в документации, это довольно легко обучить и сделать вывод.
— — — — — — — — — — — — — — — — — — –
Прошлые информационные бюллетени
— — — — — — — — — — — — — — — — — — –
Обо мне
Инженер-технолог/Инженер по машинному обучению/Ученый по данным/Магистр физики/ http://github.com/AkiraTOSEI/
Твиттер, я публикую бумажный комментарий из одного предложения.
