Размышляя о некоторых из крупнейших тенденций 2018 года в машинном обучении
У машинного обучения есть собственное правило из трех: для его использования необходимы три основных ингредиента, а именно: 1) помеченные данные; 2) модель архитектуры, которую можно оптимизировать; и 3) четко определенная целевая функция. Многие дискуссии о применении машинного обучения для решения проблемы просто прерываются, потому что один из этих трех недоступен. Достичь этого волшебного сочетания становится все легче: тенденции «больших данных» сделали доступ к данным более повсеместным в отрасли, а глубокое обучение значительно упростило поиск хороших архитектур моделей для применения к широкому классу проблем. Интересно, что большая часть трудностей часто остается в определении правильной цели: такой, которая имеет бизнес-смысл, обеспечивает достаточный контроль и охватывает все цели, присущие проблеме, например справедливость, безопасность или интерпретируемость.
Основная тенденция, которую я наблюдал в этом году, заключается в том, что мы, возможно, наконец вырвемся из ситуации «данные, модель, цель: выберите три» и превратимся в нечто, что больше похоже на: данные, модель, цель: выберите два . Многие будут утверждать, что истинный «общий интеллект» - это когда нам не нужны какие-либо из этих ингредиентов: никаких ярлыков, никакой специализированной архитектуры обучения, никакой детальной цели, следовательно, снижение с трех до двух требует чувствую, что некоторый прогресс.
То, как мы нарушаем это правило трех, меня больше всего интересует: мы берем контролируемое обучение и делаем это само предметом исследования.
По сути, мы переходим на мета в области машинного обучения.
Возьмем модельную архитектуру: что произойдет, если у вас ее нет? Узнать его! Это фундаментальная идея, лежащая в основе "обучения учиться", известного как AutoML. Удивительно, что компьютеры существенно автоматизировали работу, которую я выполнял всего три года назад: тогда я трудился над поиском лучшей модельной архитектуры для GoogLeNet. Лучшие сегодняшние архитектуры сами разработаны системами машинного обучения и быстро находят свой путь в промышленные приложения. Это также относится ко всем другим аспектам обучения модели, таким как увеличение данных, размещение устройств и оптимизаторы. Большая часть этого направления исследований по-прежнему опирается на большой зоопарк архитектур, которые люди придумали в качестве строительных блоков, и это нормально - спросите своего соседского Redditor, это не было бы `` мета '', если бы не было достаточного количества рециклинга мемов.
Возьмите помеченные данные. Что делать, если у вас их нет? В настоящее время разрабатывается огромное количество литературы, посвященной изучению несколько / один / нулевой выстрел, в соответствии с которым целевые метки наблюдаются всего несколько раз, ровно один раз или не наблюдаются вообще. И, как вы можете догадаться, некоторые из наиболее многообещающих подходов к этим проблемам связаны с переходом в мета: Мета-обучение определяет проблему изучения чего-либо заново как реальную проблему обучения, которую необходимо решить, тем самым оптимизируя эту небольшую долю. 'в отличие от традиционной постановки задачи с большим набором данных. И вы можете естественным образом расширить его до неконтролируемой настройки.
Для меня метаобучение все больше ощущается как идеальное лекарство от нашей коллективной одержимости обучением с подкреплением как путем к обучению на протяжении всей жизни. Он предлагает иную, но столь же естественную формулировку этого вопроса с точки зрения выяснения того, как со временем лучше учиться на отдельных примерах. Я надеюсь, что наступит день, когда мы перестанем называть это мета-обучением, а будем просто `` обучением '': улавливать суть нового опыта с использованием очень редкого сигнала, используя при этом всю полноту своего существования в качестве контекста того, как лучше учиться, - вот что верно Обобщение.
Наконец, что происходит, когда у вас есть данные и модель, но нет четко определенной целевой функции? Как правило, это ситуация типа вы знаете, когда видите: вам нужно красивое изображение или звук, который хорошо звучит, но записать правильную потерю для этих понятий практически невозможно. Именно здесь Генеративные состязательные сети полностью изменили ситуацию, отказавшись отвечать на вопрос о том, что такое хорошая целевая функция, и вместо этого передав проблему своего рода образованному критику, который пытается различать хорошие решения и плохие решения. . И что может быть более мета, чем обучение системы машинного обучения, чтобы судить, насколько хорошо работает ваша система машинного обучения? Сети GAN, возможно, не особенно новы, но они действительно расцвели за последние пару лет и теперь все больше и больше проникают в (сюр-) реальный мир.
Что, конечно, вызывает вопрос, почему никто до сих пор не опубликовал статью под названием «Генеративная состязательная модель - агностический поиск метанейронной архитектуры». Давай, смею тебя.
Поскольку мы находимся в метапоезде: это также был год размышлений для самого сообщества машинного обучения. После десятилетий относительной безвестности, работы над проблемами, либо слишком маленькими, чтобы иметь значение, либо слишком эзотерическими, чтобы мир мог их волновать, наше сообщество с опозданием обнаруживает то, с чем уже давно приходилось сталкиваться почти каждой другой инженерной дисциплине: наша работа действительно имеет значение. То, что мы делаем, как мы это делаем и ради кого, действительно имеет значение и может существенно повлиять на будущее мира, в котором мы живем. Что это означает для наших представлений об ответственности и этике? Можем ли мы помочь решить некоторые из серьезных проблем, стоящих сегодня перед планетой, и убедиться, что мы не становимся частью проблемы? Можем ли мы стремиться стать более инклюзивным и разнообразным сообществом, лучше подходящим для представления пользователей, которых мы обслуживаем?
Я с нетерпением жду 2019 года, когда мы получим больше знаний, больше самоанализа и больше положительного влияния на мир. Я лично рад видеть, что в следующем году машинное обучение добавится в физический мир. Некоторые из моих коллег, кажется, имеют фору. Я не могу ждать. Скорее всего, нам понадобится вся `` мета '', которую мы сможем собрать, чтобы действительно добиться прогресса: физический мир выдвигает на первый план тройку проблем машинного обучения: доступ к данным, как разрабатывать эффективные модели в реальном времени и как бороться с неоднозначные и часто противоречивые цели.
