Публикации по теме self-supervised-learning

Публикации по теме 'self-supervised-learning'

Неконтролируемое обучение визуальному представлению с помощью прогнозирования контекста

изучение взаимосвязей компонентов изображений и ускорение обучения без присмотра https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Doersch_Unsupervised_Visual_Representation_ICCV_2015_paper.pdf

Самостоятельное обучение

Самостоятельное обучение – это тип машинного обучения, при котором модель обучается с помощью предварительной текстовой задачи , для которой не требуются размеченные данные. Вместо этого модель учится решать задачу, используя внутреннюю структуру или шаблоны самих данных. При обучении с самоконтролем модели предоставляется набор входных данных, таких как изображения или текст, и ее просят предсказать некоторые аспекты данных. Например, в случае текстовых данных модели может быть..

MAE/SimMIM для предварительного обучения, как замаскированная языковая модель

Об этом посте В этом посте я представляю недавно опубликованный метод обучения с самостоятельным наблюдением в рамках, похожих на маскированные языковые модели. В этой статье представлены две статьи: MAE (He et al., 2021) и SimMIM (Xie et al., 2021) . Каждую из них можно кратко резюмировать следующим образом. MAE Авторы предложили MAE (Masked Autoencoders), который представляет собой самоконтролируемый метод обучения, который маскирует изображение и восстанавливает его. Несмотря..

Что такое самостоятельное обучение? Введение

Самостоятельное обучение (SSL) вызвало волну в мире искусственного интеллекта (ИИ) и машинного обучения. Если вы следили за последними достижениями, вы, вероятно, сталкивались с этим термином. Но что это значит? Как это работает? Почему он становится таким популярным? Давайте окунемся в увлекательную сферу самостоятельного обучения и разберемся в ее тонкостях. Что такое самостоятельное обучение? По своей сути обучение с самоконтролем является формой обучения без учителя. Но в то..

Обработка визуального языка

На границе исследований ИИ произошли замечательные пересечения. Объединив области компьютерного зрения и обработки естественного языка, возникает вопрос: может ли ИИ распознавать и понимать язык непосредственно по его визуальному представлению, то есть по необработанным пикселям? В этом блоге я пытаюсь выяснить, насколько хорошо ИИ может понимать естественный язык непосредственно по необработанным пикселям. Ссылка на репозиторий — здесь . Имейте в виду, что проект находится в стадии..

Простое объяснение обучения самоконтролю

Почему самоконтролируемое обучение? Контролируемое обучение Чтобы поговорить об обучении с самоконтролем, во-первых, нам нужно вспомнить, что мы делаем при обучении модели. Мы используем размеченные данные для обучения модели достижению задачи классификации или регрессии путем итеративной минимизации результатов прогнозирования между выходной меткой. Повторяя процесс контролируемого обучения, мы видим, что производительность модели сильно зависит от количества и качества обучающего..

SimCLR в PyTorch

ИСПОЛЬЗОВАНИЕ НОУТБУКА JUPYTER SimCLR или Простая структура для сравнительного изучения визуальных представлений - это современная структура обучения представлениям с самоконтролем. Бумага SimCLR представляет несколько статей: Обучение репрезентации без учителя выигрывает от более сильных дополнений. Введение обучаемого MLP после базового кодера улучшает качество изученных представлений. Обучение представлению с контрастной кросс-энтропийной потерей выигрывает от нормализованных..