- PRBoost: обнаружение и усиление правил на основе подсказок для интерактивного обучения со слабым учителем (arXiv)
Автор: Рунчжи Чжан, Юэ Ю, Пранав Шетти, Ле Сун, Чао Чжан
Аннотация. Обучение со слабым учителем (WSL) показало многообещающие результаты в решении проблемы нехватки меток во многих задачах НЛП, но ручная разработка комплексного высококачественного набора правил маркировки утомительна и сложна. Мы изучаем интерактивное обучение со слабым наблюдением — проблему итеративного и автоматического обнаружения новых правил маркировки из данных для улучшения модели WSL. Предлагаемая нами модель под названием PRBoost достигает этой цели за счет итеративного обнаружения правил на основе подсказок и повышения модели. Он использует повышение для выявления экземпляров с большими ошибками, а затем обнаруживает из них правила-кандидаты, запрашивая предварительно обученные LM с шаблонами правил. Кандидаты в правила оцениваются экспертами, а принятые правила используются для создания дополнительных слабых меток и усиления текущей модели. Эксперименты над четырьмя задачами показывают, что PRBoost превосходит современные базовые показатели WSL до 7,1% и устраняет пробелы с полностью контролируемыми моделями. Наша реализация доступна по адресу \url{https://github.com/rz-zhang/PRBoost}.
2. Совместное использование CNN и Transformer Network посредством слабоконтролируемого обучения для эффективного подсчета толпы (arXiv)
Автор: Фусэн Ван, Кай Лю, Фэй Лун, Нонг Сан, Сяофэн Ся, Цзюнь Сан
Аннотация: В настоящее время основными направлениями исследований для подсчета толпы являются полностью контролируемые методы с помощью оценки карты плотности. Однако такие методы требуют аннотирования людей на изображении на уровне местоположения, что отнимает много времени и сил. Следовательно, срочно необходим слабо контролируемый метод, основанный только на аннотации на уровне подсчета. Поскольку CNN не подходит для моделирования глобального контекста и взаимодействий между участками изображения, подсчет толпы со слабо контролируемым обучением с помощью CNN обычно не может показать хорошую производительность. Модель со слабым наблюдением через Transformer была последовательно предложена для моделирования глобального контекста и изучения контрастных функций. Однако преобразователь напрямую разбивает изображения толпы на ряд токенов, что может быть не лучшим выбором, поскольку каждый пешеход является независимым человеком, а количество параметров сети очень велико. Следовательно, в этой статье мы предлагаем совместную сеть CNN и трансформаторную сеть (JCTNet) с помощью слабо контролируемого обучения для подсчета толпы. JCTNet состоит из трех частей: модуля извлечения признаков CNN (CFM), модуля извлечения признаков Transformer (TFM) и модуля регрессии подсчета (CRM). В частности, CFM извлекает признаки семантической информации о толпе, затем отправляет их разделы исправлений в TRM для моделирования глобального контекста, а CRM используется для прогнозирования количества людей. Обширные эксперименты и визуализации демонстрируют, что JCTNet может эффективно фокусироваться на областях скопления людей и получать превосходные результаты подсчета при слабом контроле на пяти основных наборах данных. Количество параметров модели может быть уменьшено примерно на 67%~73% по сравнению с чистыми работами Transformer. Мы также попытались объяснить явление, при котором модель, ограниченная только аннотациями на уровне подсчета, может по-прежнему фокусироваться на областях скопления людей. Мы считаем, что наша работа может способствовать дальнейшим исследованиям в этой области.
3. Многомасштабное самоконтрастное обучение с жестким негативным анализом для заземления видео на основе запросов со слабым контролем (arXiv)
Автор: Шентонг Мо, Дайцзун Лю, Вэй Ху
Аннотация .Заземление видео на основе запросов — важная, но сложная задача понимания видео, цель которой — локализовать целевой сегмент в необрезанном видео в соответствии с запросом предложения. Большинство предыдущих работ достигли значительного прогресса, решая эту задачу полностью контролируемым образом с помощью меток на уровне сегментов, которые требуют больших затрат на маркировку. Хотя некоторые недавние усилия разрабатывают слабо контролируемые методы, которым нужны только знания на уровне видео, они обычно сопоставляют несколько предварительно определенных предложений сегментов с запросом и выбирают лучший, в котором отсутствуют детализированные детали на уровне кадра для различения кадров с высокой повторяемостью. и сходство во всем видео. Чтобы смягчить вышеуказанные ограничения, мы предлагаем самоконтрастирующую структуру обучения для решения задачи заземления видео на основе запросов в условиях слабого контроля. Во-первых, вместо использования избыточных предложений сегментов мы предлагаем новую схему заземления, которая изучает оценки соответствия по кадрам, ссылаясь на семантику запроса, чтобы предсказать возможные кадры переднего плана, используя только аннотации уровня видео. Во-вторых, поскольку некоторые предсказанные кадры (т. е. граничные кадры) являются относительно грубыми и демонстрируют сходный внешний вид с соседними кадрами, мы предлагаем парадигму контрастивного обучения от грубого к точному, чтобы изучить более различительные представления по кадрам для различения ложноположительных кадров. В частности, мы итеративно исследуем многомасштабные жесткие отрицательные выборки, которые близки к положительным выборкам в пространстве представления, для различения мелких деталей по кадрам, тем самым обеспечивая более точное заземление сегментов. Обширные эксперименты на двух сложных эталонных тестах демонстрируют превосходство предложенного нами метода по сравнению с современными методами.
4.Слабо контролируемое обучение ключевых точек для оценки положения 6D-объекта (arXiv)
Вывод. Современные подходы к оценке положения 6D-объектов требуют больших объемов размеченных данных для обучения глубоких сетей. Однако получение аннотаций положения 6D-объекта в большом количестве утомительно и трудоемко. Чтобы облегчить эту проблему, мы предлагаем слабо контролируемый подход к оценке позы 6D-объекта, основанный на обнаружении 2D-ключевых точек. Наш метод тренируется только на парах изображений с известными относительными преобразованиями между их точками зрения. В частности, мы назначаем набор произвольно выбранных ключевых точек 3D для представления каждого неизвестного целевого 3D-объекта и обучаем сеть обнаруживать их 2D-проекции, которые соответствуют относительным точкам обзора камеры. Во время вывода наша сеть сначала выводит 2D-ключевые точки из изображения запроса и заданного помеченного эталонного изображения. Затем мы используем эти 2D-ключевые точки и произвольно выбранные 3D-ключевые точки, оставшиеся после обучения, чтобы сделать вывод о позе 6D-объекта. Обширные эксперименты показывают, что наш подход обеспечивает сравнимую производительность с современными полностью контролируемыми подходами.
5. Слабо контролируемое обучение для распознавания клеток на изображениях иммуногистохимического окрашивания цитоплазмы (arXiv)
Автор:Шычуань Чжан, Чэнлу Чжу, Хунлинь Ли, Цзятун Цай, Линь Ян
Аннотация:Классификация и подсчет клеток в иммуногистохимических изображениях окрашивания цитоплазмы играют ключевую роль в диагностике рака. Слабо контролируемое обучение является потенциальным методом борьбы с трудоемкой маркировкой. Однако непостоянная морфология клеток и тонкие различия между классами также создают проблемы. С этой целью мы представляем новую структуру распознавания клеток, основанную на многозадачном обучении, в которой используются две дополнительные вспомогательные задачи для обеспечения надежного обучения представлению основной задачи. Чтобы справиться с неправильной классификацией, вводится ветвь предварительного обучения ткани для захвата пространственного представления опухолевых клеток без дополнительной аннотации ткани. Кроме того, для изучения неизменности масштаба и формы клеток используются динамические маски и обучение согласованности. Мы оценили нашу структуру на изображениях иммуногистохимического окрашивания цитоплазмы, и результаты показывают, что наш метод превосходит современные подходы к распознаванию клеток. Кроме того, мы также провели некоторые исследования абляции, чтобы показать значительные улучшения после добавления вспомогательных ветвей.
