23 часть Сериала, где я беру интервью у своих героев.

Указатель и о сериале Интервью с ML Heroes »

Сегодня я очень рад поговорить с доктором Лесли Смит.

Я уверен, что Лесли не нужно знакомить с нашими друзьями из сообщества fast.ai. Для наших читателей не из fast.ai:

В настоящее время Лесли работает старшим научным сотрудником в Военно-морском центре прикладных исследований ИИ Лаборатории военно-морских исследований США.

Его прошлые исследовательские работы включают глубокие нейронные сети и обучение с подкреплением, применяемое в исследованиях робототехники. До этого он работал в Секции морского наблюдения.

Он имеет образование в области химии, он защитил докторскую диссертацию. в области квантовой химии.

Его исследовательские цели заключаются в проведении инновационных научных исследований и разработке алгоритмов в области компьютерного зрения, машинного обучения, робототехники и разреженных представлений.

О серии:

Совсем недавно я начал добиваться определенных успехов в своем Путешествии по самообучению по машинному обучению. Но, честно говоря, это было бы вообще невозможно без замечательного онлайн-сообщества и замечательных людей, которые мне помогли.

В этой серии сообщений в блоге я разговариваю с людьми, которые действительно вдохновили меня и на которых я смотрю как на образцы для подражания.

Мотивация, стоящая за этим, заключается в том, что вы можете увидеть некоторые закономерности и, надеюсь, вы сможете учиться у замечательных людей, у которых мне посчастливилось учиться.

Саньям Бутани: Здравствуйте, Лесли! Спасибо, что нашли время сделать это.

Доктор Лесли Смит: Для меня большая честь, что вы пригласили меня на это интервью.

Саньям Бутани: в настоящее время вы занимаетесь научными исследованиями и разработкой алгоритмов в областях компьютерного зрения, машинного обучения, робототехники и разреженных представлений.

Вы работаете в Центре военно-морских исследований более 15 лет.

Не могли бы вы рассказать читателям, как вы начали заниматься машинным обучением? Что вас вначале заинтересовало машинным / глубоким обучением?

Доктор Лесли Смит: Первые несколько лет я работал в Военно-морской исследовательской лаборатории, я работал в области компьютерного зрения и смежных областях. Я обратил внимание на то, что нейронные сети с большим отрывом победили в конкурсе ImageNet Challenge 2012 года и в статье Google «Кошки» «Создание высокоуровневых функций с использованием крупномасштабного обучения без учителя». В 2013 году я начал пробовать несколько вещей и обнаружил, что увлекаюсь этой областью. В течение следующего года я переключил свое внимание на глубокое обучение, и я думаю, что большинство других исследователей компьютерного зрения сделали то же самое в следующие пару лет.

Саньям Бутани: вы были основателем бизнеса до того, как переключились на исследования.

Что побудило вас выбрать в качестве карьерного пути исследование?

Доктор Лесли Смит: На самом деле, когда мне было 10 лет, я выбрал исследование как карьеру. Я интересовался наукой, и семейная поездка на Всемирную выставку в Нью-Йорке в 1964 году была для меня увлекательной. Я решил сосредоточиться на химии, но в университете я нашел физику более интересной. Итак, мой доктор философии. находится в области химической физики. К сожалению, мой постдоктор в Принстонском университете не оправдал моих ожиданий, поэтому я ушел, чтобы работать в отрасли. После 8 лет работы в отрасли я подумал, что смогу создать свой собственный бизнес. Мне потребовалось десять лет, чтобы понять, что ведение бизнеса мне не подходит. Я шучу, что не мог продать 20-долларовые банкноты за 5 долларов. После некоторого самоанализа я понял, что исследования - это то, что мне больше всего нравится. Это поставило меня на путь туда, где я сейчас. Теперь мне очень нравится то, чем я занимаюсь.

Саньям Бутани: Не могли бы вы рассказать нам больше о том, над чем вы сейчас работаете?

Вы тайно создаете наших ИИ-роботов-повелителей? : D

Доктор Лесли Смит: Конечно. Разве не все! :-)

Я работаю над множеством идей, и это часть удовольствия. К счастью, я творческий человек, и у меня гораздо больше идей, чем я мог бы успеть поработать над всеми ними. Я шучу, что сложно все сделать за 40 часов в день! Но я пытаюсь. Некоторые из идей, над которыми я работаю, включают возможность обучать сети без снижения веса (на один гиперпараметр меньше), онлайн-пакетный выбор с помощью маркировки данных по важности, сочетание обнаружения новизны с обучением за несколько шагов, динамическое увеличение данных, автоматические данные. этикетирование и очистка этикеток, а также защита от примеров враждебности. Я не могу работать над всем этим за один день, поэтому каждый день я выбираю одну тему, на которой хочу сосредоточиться.

Саньям Бутани: Вы работаете исследователем уже несколько лет. Какой ваш любимый проект за эти годы?

Доктор Лесли Смит: Это всегда следующий. Я в восторге от своих идей. Это дает мне мотивацию усердно работать над этим.

Саньям Бутани: Не могли бы вы поделиться с нами идеей для читателей, которым интересно, как выглядит день из жизни исследователя?

Сколько времени вы тратите на эксперименты против изучения новых идей?

Доктор Лесли Смит: Я не знаю других исследователей, но большую часть времени я трачу на чтение, эксперименты, письмо, электронную почту и общение с людьми. Чтение и эксперименты - катализаторы большинства моих идей.

Саньям Бутани: Не могли бы вы рассказать нам немного о том, как вы решили начать новый эксперимент? Какие проблемы или вопросы вызывают у вас интерес?

Доктор Лесли Смит: Ну, если я читаю статью, и она приводит к идее, важным фактором является то, сделали ли авторы свой код доступным. Если так, я скачаю его и запущу, чтобы повторить их эксперименты. Затем я могу быстро опробовать свою идею, чтобы увидеть, имеет ли она смысл. Здесь для меня важно быстрое прототипирование. Кроме того, их код обеспечивает основу.

Еще один важный фактор - моя уверенность в том, что идея сработает. Если я уверен, у меня больше мотивации попробовать, чем в противном случае.

Саньям Бутани: Когда вы наконец нашли идею, которую хотите изучить. Какие методы вы используете? Как вы подходите к вопросу или идее, когда начинаете?

Доктор Лесли Смит: Начните с простого. Как я уже сказал, код на GitHub - хорошее начало и обеспечивает основу. Например, когда я начал с обучения за несколько шагов, для начала были доступны коды для прототипных сетей и MAML. Затем я пытаюсь настроить все, чтобы убедиться, что моя интуиция о том, как я думаю, что это должно работать, соответствует действительности.

Саньям Бутани: Часть исследования заключается в том, чтобы узнать, когда положить конец эксперименту или продолжить эксперименты.

Для наших читателей, которые могут разочароваться, если их идея сначала не работает, или для тех, кто, возможно, уже давно зациклился на какой-то идее, даже когда что-то не работает, можете ли вы сказать нам, как вы выбрать между этими двумя?

Доктор Лесли Смит: Когда идея не работает, я должен понимать, почему. Это ошибка в коде? Или я ошибался в своих мыслях. Если я ошибался, я учусь на этом и обновляю свою интуицию. Таким образом, неудачные эксперименты - это ценный познавательный опыт.

Саньям Бутани: Что бы вы посоветовали читателям и новичкам, мечтающим провести исследования в этой области?

Доктор Лесли Смит: Учитесь у лучших и извлекайте уроки из всего. Я восхищаюсь Йошуа Бенжио и читаю большинство его статей - а их очень много. Кроме того, не бойтесь потерпеть неудачу или задать глупые вопросы. Все - это опыт обучения. С другой стороны, не повторяйте одну и ту же ошибку дважды. Я записываю все в свой лабораторный блокнот и регулярно просматриваю его. Мне часто требуется время, чтобы спокойно подумать о предметах, чтобы увидеть, куда меня ведут мои мысли.

Саньям Бутани: Многие люди считают, что для того, чтобы внести значительный вклад в эту область, нужно иметь аспирантуру или иметь исследовательский опыт.

Считаете ли вы, что для читателей, которые хотят использовать машинное обучение как карьерный путь, необходимость исследовательского опыта?

Доктор Лесли Смит: Я считаю, что глубокое обучение переходит от исследования в основном к инженерии. Есть целый мир новых потенциальных приложений, которые еще предстоит создать. Появятся новые факторы, которые станут важными, такие как проверка, воспроизводимость, объяснимость, целостность и т. Д. Данные реального мира существенно отличаются от таких исследовательских тестов, как MNIST и ImageNet. Следовательно, для многих из этих вещей не требуется исследовательский опыт.

Саньям Бутани: Другое мнение, которое является «умственным барьером» для многих, заключается в том, что для проведения «Машинного обучения» или исследования машинного обучения требуется кластер серверов с графическим процессором и дорогостоящее оборудование, чтобы внести значительный вклад. .

Что вы думаете об этом мнении?

Доктор Лесли Смит: Как я только что сказал, данные важнее оборудования. У исследователей Google есть доступ к тысячам графических процессоров и TPU, а у меня нет. Это не мешает мне делать то, что я могу. Я бы сказал, что мое послание - «найдите свою нишу». Сделайте то, о чем никто не подумал.

Саньям Бутани: Принимая во внимание стремительный рост исследований, как вам оставаться в курсе последних достижений?

Доктор Лесли Смит: Я провожу много-много часов каждую неделю, чтобы быть в курсе последних событий, но это только я. По понедельникам и средам я просматриваю все новые статьи на arXiv.org, чтобы найти те, которые могут быть актуальными. Для меня это стало ритуалом. Те, которые выглядят актуальными, я читаю аннотацию и просматриваю статью. Если это заинтересует, распечатаю. Большую часть выходных я провожу за чтением этих газет. На это уходит часы, но я всегда в курсе, а чтение - отличный источник интуиции и новых идей.

Саньям Бутани: Считаете ли вы, что машинное обучение сильно раздуто?

Доктор Лесли Смит: Конечно, это так. Мне нравится перефразировать цитату: «Все машинное обучение неправильно, но иногда полезно». Он оказался полезным в компьютерном зрении, машинном переводе и распознавании речи, и это лишь некоторые из них. Я рекомендую найти новые способы сделать его полезным.

Саньям Бутани: Я думаю, что все сообщество фастай благодарно вам за ваше исследование «политики 1 цикла обучения».

Что вы думаете о курсе fast.ai и сообществе?

Доктор Лесли Смит: Я очень уважаю Джереми Ховарда. Он увидел необходимость практического глубокого обучения и щедро предложил замечательное решение. Сообщество, которое он создал, яркое и сильное.

Саньям Бутани: Прежде чем мы закончим, какие-нибудь советы для новичков, которые боятся начинать из-за идеи, что глубокое обучение - это продвинутая область?

Доктор Лесли Смит: Начало всегда самое трудное. Как ученый, я рассматриваю жизнь как серию экспериментов. Договоритесь с собой, чтобы попробовать это в течение достаточно длительного времени, чтобы понять, подходит ли он вам. Если это не так, остановитесь и займитесь чем-нибудь другим. Зная, что это эксперимент, а не обязательство, намного легче пробовать что-то.

Саньям Бутани: Большое спасибо за это интервью.

Если вам это интересно и вы хотите стать частью Моего пути обучения, вы можете найти меня в Twitter здесь.

Если вам интересно читать новости о глубоком обучении и компьютерном зрении, вы можете ознакомиться с моим информационным бюллетенем здесь.