В рамках саммита VietAI Summit 2019 д-р Танг Луонг выступил с презентацией о достижениях в полуконтролируемом обучении и о том, как обучать ИИ с небольшим количеством размеченных данных.

Достижения в полууправляемом обучении — Презентация «Как обучить ИИ с помощью небольших размеченных данных» с доктором Тханг Луонг, научным сотрудником, Google Brain

Аннотация: Несмотря на большой успех, глубокое обучение обычно плохо работает с небольшими размеченными обучающими наборами. Использование немаркированных данных для улучшения глубокого обучения было важным направлением исследований, среди которых полууправляемое обучение является одним из наиболее многообещающих методов. В этом выступлении д-р Луонг представит неконтролируемую аугментацию данных (UDA), нашу недавнюю полу-контролируемую технику обучения, которая хорошо работает как с языковыми, так и со зрительными задачами. С UDA мы получаем самые современные характеристики только с одним или двумя порядками менее размеченных данных.

В этом выступлении доктор Луонг начинает с объяснения основ машинного обучения с учителем. В машинном обучении основной функцией компьютерного зрения является использование классификации изображений для распознавания и маркировки данных изображения. Обучение под наблюдением всегда требует ввода и метки для сопоставления с вводом. При этом вы учите ИИ распознавать, что такое изображение, будь то объект, человек, животное и так далее. Доктор Луонг далее объясняет, что такое нейронные сети и как они используются для глубокого обучения. Эти сети предназначены для имитации функциональности человеческого мозга и позволяют ИИ учиться и решать проблемы самостоятельно.

Эти сети позволяют ИИ получать входные данные и использовать нейронную сеть для создания окончательного результата на основе набора данных, с которым обучен алгоритм машинного обучения.

Одна из проблем при использовании глубокого обучения в реальных ситуациях заключается в том, что часто существует очень небольшой объем размеченных данных, с которыми может работать ИИ. В этих реальных ситуациях требуется вмешательство человека, поскольку он должен просматривать данные и изображения, чтобы аннотировать их, чтобы алгоритмы машинного обучения могли правильно обработать данные. Это очень дорого и требует большого количества ресурсов для выполнения. Чтобы обойти эту проблему, нужна была новая стратегия.

С помощью этой задачи исследователи обнаружили, что при меньшем количестве доступных размеченных данных гибридный подход к обучению с учителем более эффективен и дает лучшие результаты. В последнее время для преодоления этой проблемы используется «полуконтролируемое обучение», которое в некоторых случаях может обеспечить значительные преимущества по сравнению с контролируемым обучением. Доктор Луонг называет это «революцией полуконтролируемого обучения».

В следующей части презентации д-р Луонг рассказывает о последовательном обучении для полуконтролируемого обучения. Эта стратегия позволяет исследователям тестировать свой алгоритм, чтобы гарантировать согласованность своей модели, чтобы гарантировать, что при наличии шума и/или вариаций во входных данных модель по-прежнему будет выводить тот же результат. Немного изменив входные данные (помеченные данные), вы позволяете модели стать более надежной из-за изменений входных данных. Как это достигается, они слегка изменяют исходные входные данные (изображение) с небольшими изменениями изображения. Это может означать изменение экспозиции, яркости или даже полный поворот изображения. В случае успеха обучающая модель будет предсказывать один и тот же результат для всех вариантов. Используя этот полууправляемый метод обучения, нейронные сети имеют возможность распространять метку с помеченных данных на немаркированные примеры, чтобы модель научилась соединять определенные изображения вместе и, таким образом, уменьшала потребность в дорогостоящем вмешательстве человека для маркировки всей полноты. данные.

Чтобы достичь цели создания более надежной модели обучения, д-р Луонг применил несколько иной подход к полуконтролируемому обучению. Вместо того, чтобы изменять входное изображение с помощью традиционных средств, он занимается тем, что называется UDA (непомеченное увеличение данных). UDA применяет расширение данных SOTA к неразмеченным данным для улучшения полуконтролируемого обучения. Он привел два примера этого, используя язык и образы.

Расширение языка может быть достигнуто путем перевода утверждения с одного языка на другой, а затем перевода этого утверждения обратно на исходный язык. Это должно привести к немного другому вводу (новому предложению) с тем же значением.

Что касается зрения, они запускают техническую случайную аугментацию, где пробуют разные способы изменения вашего ввода, создавая вариации в немаркированных данных изображения. Этот метод может использовать обрезку изображения, поворот изображения, увеличение изображения или добавление разных цветов. Это позволяет слегка изменить одно немаркированное изображение в большой объем немаркированных данных, и модель научится делать одинаковые прогнозы для всех из них.

Результат использования UDA для полуконтролируемого обучения для языковых экспериментов был поразительным! Всего с 20 примерами модель смогла превзойти производительность аналогичных моделей с тысячами примеров, используя стандартное обучение с учителем, что делает этот метод намного лучше, чем традиционные методы. Кроме того, для экспериментов со зрением метод UDA смог превзойти обучение с учителем примерно на 30%.

Д-р Луонг считает, что для нас важно рассмотреть вопрос о переходе от больших данных к малым, что будет иметь серьезные последствия для таких отраслей, как производство и здравоохранение. Поскольку обучение с полуучителем продолжает развиваться, мы должны продолжать видеть дополнительные преимущества этого современного метода расширения. Для полной презентации мы рекомендуем вам посмотреть всю презентацию, которую можно найти ниже.

Чтобы получить доступ ко всем слайдам доктора Луонга для этой презентации, перейдите в Библиотеку ресурсов Камбрии. К библиотеке ресурсов могут бесплатно получить доступ члены сообщества, владеющие токенами KAT. Просто зарегистрируйтесь на платформе Kambria, нажав Вход/Регистрация в верхней правой части экрана. Затем выберите Библиотека, чтобы получить доступ к материалам саммита.

О саммите VietAI 2019

Более 450 человек посетили VietAI Summit 2019, ИИ для будущего, организованный и Kambria. Благодаря программе с участием многих авторитетных приглашенных докладчиков из крупных технологических компаний, таких как Google Brain, Исследовательский институт Toyota, Kambria, NVIDIA, VinAI Research, Vinbrain, Университет Дикина и Вьетнамский национальный университет HCMC, мы получили много свежих идей о захватывающем состоянии ИИ. исследования и применение не только во Вьетнаме, но и во всем мире. Чтобы получить приглашение на VietAI Summit 2020, Нравится страница VietAI в Facebook и Нравится страница Kambria в Facebook.

Первоначально опубликовано на https://kambria.io 2 января 2020 г.