Информационный бюллетень активного обучения
Активное и полу-контролируемое машинное обучение: 14–25 сентября.
Подборка последних препринтов arXiv по активному (а иногда полу- или слабо контролируемому) глубокому обучению
Предыдущий выпуск:
Здесь вы также можете найти все мои текущие информационные бюллетени по активному обучению.
Должен признать, я только недавно столкнулся с машинным обучением на основе графов, но его приложения для полууправляемой настройки звучат захватывающе. Основная идея состоит в том, что данные (как помеченные, так и немаркированные) представлены узлами в графе, а отношения между точками данных соответствуют ребрам графа. В этом посте от Google AI рассматривается задача присвоения словам ярлыков эмоций. Сначала слова представлены их вложениями, затем рисуются ребра на основе сходства между различными векторами вложения. Это полу-контролируемое обучение, некоторые узлы помечены, но большинство - нет. Затем надписи (например, смешно, грустно и т. Д.) Распространяются по всему графику, примерно так:
Итак, это основная идея, а теперь давайте вернемся к тому, что добралось до arXiv за последние две недели. Полуконтролируемое обучение на основе графов + сверточные сети, улучшается ли жизнь (по крайней мере, у инженера по машинному обучению)? Что ж, может быть! Введите контрастное обучение:
Контрастное обучение - это класс подходов с самоконтролем, которые обучают кодировщика различать представления, которые отображают статистические зависимости, представляющие интерес, и те, которые этого не делают.
Само по себе ванильное контрастное обучение не может помочь вам, когда дело доходит до контролируемых задач (например, классификации). К счастью, авторы книги Сверточные сети на основе сравнительных и генеративных графов для полууправляемого обучения на основе графов нашли способ обойти это, включив информацию о доступных метках в функцию потерь:
Понятно, что в конечном итоге ваша модель может быть настолько хороша, насколько хороши ваши данные. Помимо прочего, это означает, что какие бы систематические ошибки ни присутствовали в данных, они также будут в значительной степени частью модели. Итак, если вы посмотрите на нашу историю, неудивительно, что Справедливость является не только одним из шести столпов теории моральных основ, но и предметом активных исследований в области ИИ. Метрики для определения справедливости системы, как правило, носят произвольный характер, но обычно сводятся к определению определенных характеристик, от которых не должны зависеть результаты, и проверке того, что это действительно так. Вы знаете, например, раса и пол или вызовут ли человека на собеседование и тому подобное. В любом случае, есть определенные различия между подходом к этой теме в контролируемых и неконтролируемых сценариях, поэтому я рад видеть, что полу-контролируемое сообщество также изучает этот вопрос:
Идея кластеризации является общей для многих различных подходов к обучению с полу-контролируемым обучением. Вы берете свои данные, группируете их в кластеры, а затем назначаете метки на основе аннотированных точек данных. В этом процессе есть одно допущение, которое мы часто принимаем как должное в машинном обучении: это наличие точек данных. А именно, отдельные экземпляры данных, вместо того, чтобы иметь, из-за отсутствия лучшего слова, кусок данных. Что делать, если вы имеете дело с последовательными данными? Например, данные, которые ваши интеллектуальные устройства постоянно собирают о вас и вашей среде: например, ваш трекер сна. Чтобы выполнить кластеризацию данных такого типа, сначала необходимо разбить последовательность на сегменты. И сегментация, и маркировка - дорогостоящие задачи, поэтому существует очевидная потребность в полууправляемых подходах, пригодных для обработки последовательных данных. В полууправляемой классификации последовательностей через обнаружение точки изменения авторы применяют «методы обнаружения точки изменения… для определения точек в последовательности, соответствующих вероятным изменениям класса»:
Производительность модели машинного обучения, обученной полууправляемым способом, часто сильно зависит от выбора обучающих выборок, которые были аннотированы. Однако не менее важно качество этих аннотаций: на самом деле, чем меньше у нас маркированных образцов, тем больше они важны. В реальном мире аннотации вряд ли на 100% точны, и эту проблему необходимо решить, чтобы добиться оптимальной производительности окончательной модели. Авторы Идентификация зашумленных меток с помощью трансдуктивного полууправляемого фильтра исключения-исключения предлагают метод удаления меток, которые считаются неправильными:
В следующем препринте
Авторы рассмотрели два тренировочных подхода к активному обучению в бассейне: инкрементный и накопительный. Для каждой итерации активного цикла обучения инкрементное обучение соответствует тонкой настройке модели только на вновь добавленных метках, тогда как кумулятивное обучение означает, что мы переобучаем модель на всех доступных в настоящее время метках с нуля. В моей собственной реализации я фактически использовал нечто среднее: точную настройку модели, а не переобучение, но для всего обновленного помеченного набора. Я обнаружил, что это работает достаточно хорошо:
Но, вернемся к препринту! Авторы берут наборы данных MNIST и Fashion-MNIST, начинают маркировать их по 120 изображений за раз и сравнивают производительность моделей, полученных с помощью методов инкрементального и накопительного обучения, для трех стратегий запроса: случайный (не большая часть стратегии как таковой), маржа. , и выборки энтропийной неопределенности. Кстати, если вы хотите напомнить, что такое последние два, могу ли я вас заинтересовать:
Когда дело доходит до аннотации данных, мы обычно ищем метки. Однако аргументы в пользу выбора аннотатора могут дать ценную информацию о характере задачи. Такую информацию непросто включить в процесс машинного обучения, что делает следующую работу еще более интересной:
Как именно работает ALICE? Допустим, вы активно изучаете задачу классификации птиц. Модель сначала выберет те изображения, для которых ей трудно выбрать между двумя классами. (Это похоже на выборку полей, за исключением того, что в документе они рассматривают расстояние между обучающими экземплярами в пространстве признаков, а не вероятности классов, предсказанные моделью.) Затем он попросит аннотатора не только пометить изображение, но и скажите, как она различает эти два класса:
Затем эта информация будет преобразована в удобную для машины форму и использована для повышения производительности модели.
Это препринты, которые больше всего понравились мне за эти две недели. Что насчет вас, что-нибудь из этого привлекло ваше внимание? Что-то я пропустил?
Увидимся в середине октября!
