Интервью с Колином Раффелем, научным сотрудником Google

Я рад, что сегодня у меня есть Колин Раффел. Колин в настоящее время работает научным сотрудником в Google. Исследовательские интересы Колина в основном лежат в таких областях, как обучение с ограниченными размеченными данными, трансферное обучение, особенно из контекста НЛП. Колин также является одним из первых авторов основополагающей статьи Изучение ограничений передачи обучения с помощью унифицированного преобразователя текста в текст (T5).

Среди других работ Колина мне больше всего нравятся работы по полу-контролируемому обучению - FixMatch и MixMatch. Если вам интересно узнать больше о расширении работы MixMatch, обязательно ознакомьтесь с этой статьей ICLR 2020 о ReMixMatch. В прошлом мне также нравилась его работа над Теоретическим пониманием запоминания в GAN.

Ранее Колин был резидентом Google’s AI Residency Programme, где он провел более года, проводя фундаментальные исследования в области машинного обучения. Осенью 2020 года он присоединится к факультету компьютерных наук Университета Северной Каролины в качестве доцента. Чтобы узнать о нем больше и оставаться в курсе его работы, не забудьте подписаться на него в Twitter.

Интервью с Колином Раффелем, научным сотрудником Google

Саяк: Привет, Колин! Спасибо за интервью. Рад видеть вас на собеседовании.

Колин: Спасибо, что пригласили меня!

Саяк: Может быть, вы могли бы начать с того, чтобы представиться - каковы ваши текущие исследовательские интересы, ваш общий подход к проведению исследований и т. д.?

Колин: Мои текущие исследования направлены на то, чтобы сделать алгоритмы машинного обучения менее зависимыми от помеченных данных. Сюда входят такие вещи, как обучение без учителя, обучение без учителя и трансферное обучение. В целом, мне нравится выбирать проблемы, которые имеют существенное влияние на реальный мир, но также требуют некоторой изобретательности и усилий для решения. Обучение с помощью ограниченных ярлыков - хороший пример что-то со значительными практическими последствиями (поскольку большинство людей не имеют доступа к гигантским наборам данных с пометкой), но это достаточно открытое решение, так что есть много интересных проблем, над которыми стоит подумать. Мне также нравится работать в разных областях (текст, изображения, речь, музыка и т. Д.).

Саяк: Конечно! Ваша исследовательская философия действительно отражается на ваших работах, как и ваше желание проводить ее в различных областях. Мне любопытно, что в первую очередь привело вас в машинное обучение, а также помогло вам развить мотивацию для подполей, над которыми вы сейчас работаете.

Колин: До и во время получения докторской степени я в основном исследовал методы, помогающие машинам понимать музыку (и, в свою очередь, помогать людям создавать музыку) . Сюда входят такие вещи, как автоматическая расшифровка песни или определение битов в музыкальном произведении. Я быстро обнаружил, что наиболее многообещающие и мощные инструменты для решения этих проблем основаны на машинном обучении. В конечном итоге это привело меня к развитию интереса к основным методам машинного обучения. Начиная с музыки, я понял сложность и дороговизну получения маркированных данных - например, довольно дорого платить человеку за расшифровку музыкального произведения вручную. Музыкальные исследования также обычно недофинансируются по сравнению с другими областями, так как можно заработать сравнительно меньше денег, поэтому доступность данных всегда является проблемой. Конечно, музыка - не единственная область, в которой это верно, поэтому я в целом заинтересовался устранением необходимости в лейблах в разных областях.

Саяк: Когда вы только начинали, с какими проблемами вы столкнулись? Как вы их преодолели?

Колин: В начале моей докторской диссертации нейронные сети только начинали снова становиться полезными благодаря достижениям в вычислениях, размере набора данных и регуляризации. Я был заинтересован в применении нейронных сетей в музыкальных исследованиях, но в Колумбии не было классов или профессоров, которые использовали бы их, поскольку они были в значительной степени вытеснены ядерными методами. Это привело к большому количеству самообучения (например, с использованием превосходных и устаревших Руководств по глубокому обучению Theano), а также привело меня к созданию Группы чтения по нейронной сети Колумбии и серии семинаров. Работа с бумагами и приглашение людей выступить с докладами во многом помогли мне.

Кроме того, у меня также был только один графический процессор для запуска всех моих экспериментов для моей дипломной работы. Естественным выбором для некоторых проблем, над которыми я работал, были рекуррентные нейронные сети, но обработка длинных музыкальных последовательностей с помощью RNN была слишком медленной на моем изящном графическом процессоре. Это привело меня к развитию упреждающего внимания, которое может эффективно агрегировать информацию в последовательности с использованием полностью распараллеливаемых вычислений.

Саяк: «Необходимость - мать изобретательности» - справедливо сказали! Ваши исследования охватывают очень много разных областей, будь то трансферное обучение в моделях НЛП, будь то полу-контролируемое обучение, будь то GAN. Как вы обычно проводите этот процесс, то есть когда над чем работать?

Колин: Я стараюсь проводить исследования, которые окажут существенное влияние, т. е. помогут людям решить важную проблему, которую иначе невозможно было бы решить. Большая часть моей недавней работы была мотивирована тем фактом, что существует много проблем, которые созрели для использования машинного обучения, но не имеют достаточного количества маркированных данных для использования стандартного контролируемого обучения. Это привело меня к работе, например. об обучении без учителя (GAN) и обучении без учителя. Это также заставило меня сосредоточиться на основных методах машинного обучения, которые могут повлиять на разные области. Кроме того, я стараюсь выбирать проблемы, по которым я лично должен работать над этим, будь то из-за того, что у меня есть какой-то важный опыт, понимание или другие преимущества. Это просто по практической причине: так много людей проводят исследования в области машинного обучения, поэтому лучше всего работать над тем, в чем вы, скорее всего, добьетесь прогресса.

Саяк: Ваша исследовательская философия действительно очень хорошо обоснована. Спасибо, что поделились подробностями. Это наверняка будет полезно многим начинающим исследователям. Я уверен, что многие читатели заинтересуются именно этим вопросом. Что на самом деле мотивировало работу над Т5? Это такая исчерпывающая и хорошо написанная статья!

Колин: Спасибо! Приятно это слышать, поскольку работа над газетой была огромной. На самом деле мотивация проистекает из того факта, что произошел значительный прогресс в переносном обучении для НЛП. Я думаю, что в 2018 году трансфертное обучение действительно начало эффективно работать, что привело к огромному взрыву новых методов. Когда бы это ни происходило, бывает сложно сравнивать достижения в разных статьях и выяснять, какие из вкладов являются наиболее важными. Например, если две статьи выходят с разницей в месяц и обе имеют целью улучшить производительность, может быть трудно определить, какая из них более полезна, поскольку маловероятно, что они используют одну и ту же экспериментальную установку. Наша цель в статье T5 состояла в том, чтобы обеспечить всестороннее эмпирическое сравнение всех этих различных методов, а затем исследовать пределы существующих методов путем увеличения масштабов. Я работал над подобными статьями в прошлом, например по глубокому полу-контролируемому обучению и по оценке алгоритмов машинного обучения для музыки.

Саяк: Полуконтролируемое обучение - это то, что я лично изучаю в наши дни, поэтому я обязательно проверю глубокое полу-контролируемое обучение. Мне также интересно узнать о вашем пребывании в программе AI Residency. Над какими исследовательскими проектами вы там работали?

Колин: Резидентура дала мне возможность перейти от работы непосредственно над музыкой к работе над базовыми алгоритмами машинного обучения в целом. Первую половину или около того я потратил на разработку механизма монотонного внимания, который позволяет выполнять декодирование в режиме онлайн и в линейном времени. Я также использовал резиденцию как возможность сотрудничать с большей группой людей и в итоге проделал аналогичную работу над механизмом дифференциальной подвыборки и использованием градиентной оценки, чтобы научиться пристальному вниманию.

Саяк: Ух ты, там очень разный набор проблем! Какие области машинного обучения вам сейчас интересны?

Колин: Тот факт, что большие языковые модели формируют неявную базу знаний в результате обучения без учителя, кажется, созрел для большой мощной и интересной работы. Исторически сложилось так, что создание баз знаний было дорогостоящим и сложным для запросов, и тот факт, что LM (языковая модель) может выполнять аналогичные операции, используя простое крупномасштабное тупое обучение без учителя, очень увлекателен. У нас есть недавняя работа, показывающая, что это может обеспечить современную производительность в ответах на вопросы в открытой области. В более широком смысле меня воодушевляет общая тенденция использования немаркированных данных для улучшения обобщения и надежности, например, посредством самостоятельного контрастного обучения. Я надеюсь, что в будущем использование больших немаркированных наборов данных станет полностью стандартным, а не просто контролируемое обучение.

Саяк: Самостоятельное обучение - это то, что я очень рад видеть, когда оно используется в самых разных областях для практических целей. Будучи практикующим, я часто сталкиваюсь с проблемой изучения новой концепции. Вы бы хотели поделиться своим подходом к этому процессу?

Колин: Если возможно, я считаю, что было бы невероятно полезно заново реализовать концепцию на основе существующей кодовой базы. К сожалению, большинство реализаций методов машинного обучения с открытым исходным кодом не очень четко написаны или хорошо документированы. Реализуя его самостоятельно и тщательно и четко документируя, как он работает, вы заставите вас глубоко понять метод. Основание вашей реализации на существующей также дает вам хороший запасной вариант, когда вы застряли или что-то не работает.

Саяк: Я полностью согласен с этой философией. Это также в некоторой степени усиливает вашу способность рассуждать, что помогает в развитии исследовательского мышления. Есть какие-нибудь советы новичкам?

Колин: Если можете, найдите группу единомышленников и мотивированных людей, которые хотят научиться тому же, что и вы. Это полезно как для солидарности, так и для оказания и получения помощи. Когда я только начинал изучать нейронные сети, мне было очень полезно быть частью группы людей, создавших библиотеку нейронных сетей Lasagne. Это дало мне сообщество коллег, от которых можно было обмениваться идеями и учиться у них.

Саяк: Не могу с этим согласиться :) Большое спасибо, Колин, за это интервью и за то, что поделился своими ценными идеями. Я надеюсь, что они будут очень полезны сообществу.

Колин: Спасибо за интервью! Было весело вспомнить мой путь.

Надеюсь, вам понравилось читать это интервью. Следите за этим местом для следующего, и я надеюсь увидеть вас в ближайшее время. Здесь где можно найти все интервью, сделанные на данный момент.

Если вы хотите узнать обо мне больше, загляните на мой сайт.