- Оптимизация различных типов элементов для представлений изображений на основе рисования(arXiv)
Автор:Фердинанд Йост, Вассильлен Чижов, Иоахим Вейкерт
Аннотация:сжатие изображений на основе Inpainting является многообещающей альтернативой классическим кодекам с потерями на основе преобразования. Обычно он хранит тщательно отобранное подмножество всех местоположений пикселей и их значений цвета. На этапе декодирования недостающая информация восстанавливается с помощью процесса рисования, такого как гомогенное диффузионное окрашивание. Оптимизация хранимых данных является ключом к достижению хорошей производительности. Несколько эвристических подходов также поддерживают альтернативные типы объектов, такие как производные данные, и создают специальные концепции рисования. Тем не менее, по-прежнему отсутствует общий подход, позволяющий одновременно оптимизировать и отрисовывать данные по отношению к ним. набор различных типов объектов, их местоположений и значений. Наша статья восполняет этот пробел. Мы вводим обобщенный процесс рисования, который может обрабатывать произвольные функции, которые могут быть выражены в виде линейных ограничений равенства. Это включает, например. цветовые значения и производные любого порядка. Мы предлагаем полностью автоматический алгоритм, направленный на поиск оптимальных признаков из заданного набора, а также их местоположений и значений их функций в пределах заданной общей плотности признаков. Его производительность демонстрируется новым набором функций, который также включает местные средние значения. Наши эксперименты показывают, что он явно превосходит популярную отрисовку с оптимизированными цветовыми данными с той же плотностью.
2. Изучение представлений изображений для обнаружения аномалий: применение для обнаружения гистологических изменений при разработке лекарств(arXiv)
Автор: Игорь Зингман, Биргит Штирсторфер, Шарлотта Лемпп, Фабиан Хайнеманн
Аннотация: мы представляем систему для обнаружения аномалий в гистопатологических изображениях. В гистологии нормальные образцы обычно многочисленны, тогда как аномальные (патологические) случаи редки или недоступны. При таких настройках одноклассовые классификаторы, обученные на надежных данных, могут обнаруживать аномальные выборки вне распределения. Такие подходы в сочетании с предварительно обученными представлениями изображений сверточной нейронной сети (CNN) ранее использовались для обнаружения аномалий (AD). Однако предварительно обученные готовые представления CNN могут быть нечувствительны к аномальным условиям в тканях, в то время как естественные вариации здоровой ткани могут привести к отдаленным представлениям. Чтобы адаптировать представления к соответствующим деталям в здоровой ткани, мы предлагаем обучить CNN вспомогательной задаче, которая различает здоровую ткань разных видов, органов и реагентов для окрашивания. Почти не требуется дополнительной работы по маркировке, поскольку здоровые образцы автоматически поставляются с вышеупомянутыми этикетками. Во время обучения мы применяем компактные представления изображений с термином потери центра, что еще больше улучшает представления для AD. Предлагаемая система превосходит установленные методы AD в опубликованном наборе данных об аномалиях печени. Более того, он дал сопоставимые результаты с обычными методами, специально разработанными для количественной оценки аномалий печени. Мы показываем, что наш подход может быть использован для оценки токсичности лекарств-кандидатов на ранних стадиях разработки и, таким образом, может уменьшить дорогостоящее истощение лекарств на поздних стадиях.
3.Предварительное обучение видео с самоконтролем обеспечивает надежное представление изображений(arXiv)
Автор:Нихил Партасарати, С. М. Али Эслами, Жоао Каррейра, Оливье Ж. Энафф
Аннотация . Видео содержат гораздо больше информации, чем неподвижные изображения, и обладают потенциалом для изучения богатого представления визуального мира. Тем не менее, предварительная подготовка на наборах данных изображений остается доминирующей парадигмой для изучения представлений, которые захватывают пространственную информацию, а предыдущие попытки предварительной подготовки видео не справились с задачами понимания изображения. В этой работе мы возвращаемся к самоконтролируемому обучению представлению изображений из динамической эволюции видеокадров. С этой целью мы предлагаем процедуру курирования набора данных, которая устраняет несоответствие предметной области между наборами данных видео и изображения, и разрабатываем контрастную структуру обучения, которая обрабатывает сложные преобразования, присутствующие в естественных видео. Эта простая парадигма преобразования знаний из видео в представления изображений, называемая VITO, на удивление хорошо работает в различных задачах обучения переносу изображений. Наша модель с предварительным обучением видео впервые закрывает пробел с предварительным обучением ImageNet в семантической сегментации на PASCAL и ADE20K и обнаружении объектов в COCO и LVIS, предполагая, что предварительное обучение видео может стать новым стандартом для изучения представлений изображений.
