Начните с обучения Zero Shot
Понимание Zero Shot Learning при работе с исследованиями
1. Генерация сцен с подсказками для обучения 3D Zero-Shot (arXiv)
Автор: Маджид Насири, Али Черагян, Тауним Фейсал Чоудхури, Сахар Ахмади, Мортеза Сабери, Шафин Рахман
Аннотация. Обучение с нулевым выстрелом на трехмерных данных облака точек является связанной с этим недостаточно изученной проблемой по сравнению с ее аналогом с двумерными изображениями. 3D-данные создают новые проблемы для ZSL из-за отсутствия надежных предварительно обученных моделей извлечения признаков. Чтобы решить эту проблему, мы предлагаем метод создания и контроля трехмерных сцен с подсказками, который дополняет трехмерные данные для лучшего изучения сети, исследуя сложное взаимодействие видимых и невидимых объектов. Сначала мы объединяем облака точек двух 3D-моделей определенными способами, описанными в подсказке. Подсказка действует как аннотация, описывающая каждую 3D-сцену. Позже мы проводим сопоставительное обучение, чтобы обучить предложенную нами архитектуру сквозным образом. Мы утверждаем, что 3D-сцены могут связывать объекты более эффективно, чем отдельные объекты, потому что популярные языковые модели (такие как BERT) могут достигать высокой производительности, когда объекты появляются в контексте. Предлагаемый нами метод генерации сцен с подсказками инкапсулирует увеличение данных и аннотации/заголовки на основе подсказок для повышения производительности 3D ZSL. Мы добились современной производительности ZSL и обобщенной ZSL для синтетических (ModelNet40, ModelNet10) и реально отсканированных (ScanOjbectNN) наборов данных 3D-объектов.
2. Гибкая классификация вакансий с помощью Zero-Shot Learning (arXiv)
Автор:Том Лейк
Аннотация. Использование таксономии для организации информации требует классификации объектов (документов, изображений и т. д.) с использованием соответствующих таксономических классов. Гибкая природа обучения с нулевым выстрелом привлекательна для этой задачи, поскольку позволяет классификаторам естественным образом адаптироваться к модификациям таксономии. В этой работе изучается нулевая классификация документов с несколькими метками с точно настроенными языковыми моделями в реалистичных сценариях расширения таксономии в области человеческих ресурсов. Эксперименты показывают, что в этих условиях обучение с нулевым выстрелом может быть очень эффективным. При контроле бюджета данных для обучения нулевые классификаторы достигают относительного увеличения макро-AP на 12% по сравнению с традиционным классификатором с несколькими метками, обученным на всех классах. Вопреки интуиции, эти результаты предполагают, что в некоторых условиях было бы предпочтительнее использовать методы нулевого выстрела и тратить ресурсы на аннотирование большего количества документов с неполным набором классов, а не распределять бюджет на маркировку равномерно по всем классам и использовать традиционные методы классификации. Дополнительные эксперименты демонстрируют, что использование хорошо известной декомпозиции фильтра/переранжирования из литературы по рекомендательным системам может значительно снизить вычислительную нагрузку высокопроизводительных нулевых классификаторов, эмпирически приводя к сокращению вычислительных затрат на 98 % всего за 2 %. относительное снижение производительности. Представленные здесь данные демонстрируют, что обучение с нулевым выстрелом может значительно повысить гибкость таксономий, и указывают направления для будущих исследований.
3. Федеративное обучение с нуля для визуального распознавания (arXiv)
Автор:Чжи Чен, Ядан Луо, Сен Ван, Цзинцзин Ли, Цзы Хуан
Аннотация. Обучение с нулевым выстрелом — это режим обучения, который распознает невидимые классы путем обобщения визуально-семантических отношений, извлеченных из видимых классов. Чтобы получить эффективную модель ZSL, можно прибегнуть к выборке обучающих образцов из нескольких источников, что неизбежно может вызвать опасения по поводу конфиденциальности при обмене данными между разными организациями. В этой статье мы предлагаем новую инфраструктуру федеративного обучения Zero-Shot Learning FedZSL, которая изучает центральную модель из децентрализованных данных, хранящихся на периферийных устройствах. Чтобы лучше обобщать ранее невиданные классы, FedZSL позволяет обучающим данным на каждом устройстве выбираться из непересекающихся классов, которые далеки от i.i.d. что обычно предполагает традиционное федеративное обучение. Мы выделяем две ключевые проблемы в нашем протоколе FedZSL: 1) обученные модели склонны к предвзятости по отношению к локально наблюдаемым классам, что не позволяет обобщать невидимые классы и/или видимые классы, появляющиеся на других устройствах; 2) поскольку каждая категория обучающих данных поступает из одного источника, центральная модель очень уязвима для атак с заменой модели (черных ходов). Чтобы решить эти проблемы, мы предлагаем три локальные цели для визуально-семантического выравнивания и выравнивания между устройствами посредством дистилляции отношений, которая использует нормализованную ковариацию по классам для упорядочения согласованности логитов прогнозирования на разных устройствах. Для защиты от бэкдор-атак предлагается техника защиты с величиной признаков. Поскольку вредоносные образцы менее коррелируют с заданными семантическими атрибутами, визуальные признаки низкой величины будут отбрасываться для стабилизации обновлений модели. Эффективность и надежность FedZSL продемонстрированы обширными экспериментами, проведенными на трех наборах данных нулевого выстрела.
