Информационный бюллетень активного обучения
Активное и частично контролируемое машинное обучение: 28 сентября - 9 октября.
Подборка последних препринтов arXiv по активному (а иногда полу- или слабо контролируемому) глубокому обучению
Предыдущий выпуск:
Здесь вы также можете найти все мои текущие информационные бюллетени по активному обучению.
Прошлый уик-энд был для меня особенно занудным: он включал в себя поездку в планетарий в субботу, а затем просмотр лекций курса Stanford CS224W (машинное обучение с графиками) - очень рекомендую, кстати, вы получите все удовлетворение от просмотра переедания без какой-либо вины. [Полное раскрытие: я твердо верю в то, что нельзя ругать себя за то, что вы не повредили свой список дел, если отвлечение делает вас счастливыми. Это просто хороший баланс работы и личной жизни! Пожалуйста, оставьте свои рекомендации Netflix в комментариях.]
Говоря о машинном обучении с помощью графиков, у меня есть для вас еще пара препринтов:
а также
Если вы новичок в машинном обучении на основе графов, но предпочитаете не смотреть все шестнадцать полуторачасовых лекций, чтобы начать работу, я рекомендую просмотреть достаточно лекции 1, чтобы понять, что такое граф. есть, затем посмотрите лекции 6, 7 и 8, чтобы увидеть, как связать эту идею с моделями машинного обучения. Или вот моя версия…
… вкратце о машинном обучении на основе графиков
Думайте о каждой точке данных, которая у вас есть, как о узле графа. Допустим, каждый узел соответствует профилю человека в Facebook. Мы нарисуем грани между (т. Е. Соединим) те узлы, которые дружат друг с другом на Facebook. Узлы могут, но не обязательно, иметь характеристики (например, возраст, пол человека, политические взгляды, которые он сам описывает, а также наличие у него кошки). Теперь предположим, что вы хотите выяснить, может ли данный человек поддержать идею изоляции, навязанной covid, или нет. Другими словами, задача бинарной классификации. (Вы можете пометить те узлы, которые явно выразили свою поддержку или пренебрежение блокировкой, в своем профиле, и обучить их.) Если вы не хотели делать какие-либо из этих причудливых графических вещей, вы могли бы просто обучить классификатор с функциями, которые вы тренировочные данные имеют. Однако вы предполагаете, что человек, который дружит с большим количеством сторонников изоляции, с большей вероятностью разделяет эти взгляды, чем человек, чей круг друзей в Facebook решительно выступает против приказа оставаться дома. Если бы только мы могли включить такую реляционную информацию в наше моделирование ... Подождите, мы действительно можем: пока мы используем граф (узлы + их соединения с другими узлами) вместо простых узлов в качестве входных данных для нашей модели.
Это может показаться странным, но в каком-то смысле вы уже это делаете. Подумайте, например, о классификации изображений: изображение 1024 x 1024 можно рассматривать как сетку - очень скучный график, который имеет фиксированный размер и одинаковую топологию везде, кроме границы изображения. Каждый узел (пиксель) имеет заданное количество функций (которые определяют цвет пикселя). Обобщение знакомых понятий машинного обучения с сетки на граф произвольной сложности нетривиально, но возможно.
Для тех, кто уже хорошо разбирается в машинном обучении с помощью графиков, вот препринт, основанный на графах, более сложный в математике, сделанный около двух недель назад:
Модели, обученные в полууправляемом режиме, очень чувствительны к выбору, какие точки данных являются помеченными (фактически, оптимизация этого выбора является центральной целью активного обучения). Поэтому возникает соблазн сконцентрироваться на качестве помеченного подмножества, бросить все, что мы получили, в немаркированную часть, и позволить модели разобраться с этим. Однако было показано, что данные вне распределения среди немаркированных обучающих выборок оказывают негативное влияние на производительность полууправляемых моделей. При полууправляемом машинном обучении немаркированный обучающий набор обычно велик, и его прохождение с помощью тонкой гребенки, чтобы отсеять любые точки вне распределения, будет нарушением первоначальной цели. Авторы препринта, представленного ниже, решают эту проблему с помощью подхода, использующего пакетную нормализацию:
Задачи сегментации изображений - это распространенные варианты использования компьютерного зрения, которые требуют особенно трудоемкого вида аннотации данных: очерчивания границ объекта или группы объектов одного класса (иногда с необходимостью точности на уровне пикселей). Когда дело доходит до аннотации данных, время, безусловно, равняется деньгам, поэтому все, что можно сделать для ускорения этого процесса, может иметь огромное значение в будущем (попытка каламбура с автономным транспортным средством). Неудивительно, что существует ряд групп, работающих над обучением под слабым учителем для сегментации изображений. Обычно для слабых меток требуются только аннотации ко всему изображению, например классификационные метки, которые намного проще получить, чем маски сегментации. В Обнаружении существенных экземпляров со слабым контролем авторы сопоставляют метки классов с количеством объектов, присутствующих в изображении, чтобы обучить сеть сегментации с тремя ветвями для создания масок сегментации:
Некоторые из других недавних препринтов слабо контролируемой сегментации изображений включают Причинное вмешательство для слабо контролируемой семантической сегментации
и Движение к крайностям: слабо контролируемая сегментация медицинских изображений, где слабые метки представляют собой крайние точки на поверхности органа, выбранные аннотатором на трехмерном медицинском изображении:
Наконец, это не был бы информационный бюллетень Active Learning, если бы мы не говорили об активном обучении ;-) Живя в Париже, я не мог бы передать статью с OLALA в заголовке:
Обнаружение макета документа - это задача обнаружения объектов в компьютерном зрении, где рассматриваемые объекты представляют собой различные области содержимого в изображениях документа. (Естественно, большая часть теории переносится на обнаружение объектов в целом.) Когда дело доходит до активного обучения обработке изображений, запросы обычно выполняются на уровне изображения, что означает, что к оракулу обращается запрос для аннотирования всего изображения. Однако в случае использования, когда определенные категории объектов имеют тенденцию появляться несколько раз на одном изображении, тогда как другие нет, стратегия на уровне изображения часто приводит к чрезмерному представлению общих объектов в обучающем наборе. Подход на уровне объектов (также известный как OLALA) позволяет избежать этой проблемы, запрашивая вместо этого метки выбранных объектов в изображениях.
Возвращаясь к проблеме сегментации изображений, активное обучение - это, конечно, еще один способ сократить высокие затраты на аннотацию данных, связанные с выбором масок сегментации:
Увидимся через две недели :)
