Мир искусственного интеллекта/машинного обучения быстро развивается. Если вы похожи на меня, то быть в курсе последних событий может показаться попыткой добраться до места назначения, прогуливаясь по беговой дорожке. Иногда стоит просто сделать шаг в сторону, сделать паузу и оглянуться назад, на истоки многих парадигм и алгоритмов, которые привели нас к сегодняшнему состоянию ИИ.

Нам очень повезло, что многие, но, к сожалению, не все изобретатели, сформировавшие ИИ, живы сегодня. Может быть вдохновляющим (а иногда и пугающим) услышать о поворотных моментах в этой области от тех самых людей, которые сделали их такими значимыми. С этой целью я включил следующие семь видеороликов (взятых из прошлых интервью и выступлений) из-за того, чему мы можем научиться у этих светил нашей профессии.

Вместе видео проливают свет на историю этих алгоритмов, особенно на конкретные проблемы, которые пытались решить эти исследователи. Их решения в конечном итоге привели к изобретению самих алгоритмов. Этот взгляд в прошлое обеспечивает более глубокое понимание методов и пригодности алгоритмов для различных приложений.

Видео также дает нам представление о мыслительных процессах, стоящих за этими изобретениями. Понимание этих психических процессов может, в свою очередь, помочь нам применить их для решения проблем, с которыми в настоящее время сталкивается наша область.

Наконец, видеоролики представляют интересную историю развития алгоритмов, аналогичную тому, как «истории происхождения» в комиксах помогают читателям понять «предысторию» популярных героев и героинь.

Семь историй

1. Деревья решений

Покойный Лео Брейман сыграл важную роль в разработке нескольких методов на основе деревьев. В этом редком фрагменте видео он рассказывает о проблеме классификации кораблей по сигналам радаров. Брейман объясняет, как он покрыл стены своего офиса данными с радаров до того момента, когда он «ага» на деревьях решений. Его стремление проникнуть в туман данных является уроком для всех нас.

«Единственное, чему я научился во время консультации, это то, что вы должны знать свои данные»

— Лео Брейман

Вывод № 1. Время, потраченное на изучение базового источника данных, окупится, даже если вы не увидите немедленных результатов.

2. Начальная загрузка

Идеи для алгоритмов могут возникнуть, когда ограничение (часто неявное) снимается. В следующем интервью Брэдли Эфрон объясняет, как он пришел к идее Bootstrap из более раннего метода повторной выборки под названием «складной нож».

«Я написал одну строчку на листе бумаги, которая гласила: «Что такое складной нож?», и это заставило меня взяться за дело».

— Брэд Эфрон

Вывод № 2: Напомните себе о большей цели. Определите любые неявные ограничения, которые мешают вашему мыслительному процессу.

3. Случайный лес

Нахождение правильного компромисса между сложностью и производительностью алгоритма может быть довольно сложной задачей. Следующий фрагмент видео напоминает нам всем о важности рассмотрения этого компромисса. В этом видео Адель Катлер, соавтор современного Random Forest, вспоминает обсуждения, которые она имела с Лео Брейманом о важности сохранения простоты настройки Random Forest.

Эта история показывает, насколько важно создавать модели, которыми легко могут пользоваться другие. Это показывает нам, что случайные леса не случайно стали одним из основных де-факто стандартных алгоритмов, используемых в машинном обучении.

Вывод №3: Всегда помните о конечных пользователях вашего алгоритма. Подумайте, что вы могли бы сделать, чтобы облегчить их жизнь.

4. Повышение градиента

Статистическое сообщество не сразу приняло бустинг, теперь уже хорошо известную концепцию. Даже Джером Х. Фридман, пионер алгоритма повышения градиента, признает, что не оценил новизну и полезность концепции повышения.

«Это была очень хорошая идея, которую я не сразу оценил… но это была очень хорошая идея»

- Джером Х. Фридман

Позже Фридман внес свой вклад в алгоритм, обобщив его на другие функции стоимости и постановку задачи. Его действия привели к тому, что он стал соавтором алгоритма.

Вывод № 4. Стремитесь обобщить свое решение для более широкого класса проблем. Сделайте так, чтобы другим было легко им пользоваться.

5. Искусственные нейронные сети

Обобщение проблемы и/или решения может дать много преимуществ. С другой стороны, вы также можете получить полезные результаты, найдя частный случай общего решения.

В следующем видео Бернард Видроу, соавтор адаптивного линейного нейрона (ADALINE), обсуждает, как его команда использовала особый случай настройки ADALINE в системах адаптивных антенн в телекоммуникациях. В результате они нашли применение за пределами распознавания образов.

Вывод № 5. Точно так же, как вы можете получить пользу, обобщив конкретную проблему, вы также можете получить пользу и от обратного: от поиска конкретного случая общего решения. Особый случай или смежное приложение может иметь немедленное применение, которое приведет к большому влиянию.

6. Машины опорных векторов (SVM)

SVM, который был популярным методом классификации задач до популярности Deep Neural Networks, имеет свою богатую и яркую историю. В этом видео Владимир Вапник обсуждает, как его ранние годы в Москве помогли сформировать истоки статистических теорий обучения, включая идеи, лежащие в основе SVM. Его соавтор, Изабель Гийон, также обсуждает трюк с ядром, который обобщает SVM для нелинейных границ решений (следовательно, делая их более популярными).

«Изобретение SVM произошло, когда Бернхард решил реализовать алгоритм Владимира за три месяца, которые у нас остались до переезда в Беркли. После некоторого первоначального успеха линейного алгоритма Владимир предложил ввести произведение признаков. Я предложил скорее использовать трюк с ядром алгоритма «потенциальной функции». Владимир изначально сопротивлялся этой идее, потому что изобретатели алгоритма «потенциальных функций» (Айзерман, Браверман и Розоноер) были из конкурирующей команды его института еще в 1960-х годах в России!»

— Изабель Гийон

Соперничество между SVM и нейронными сетями продолжается уже давно. Ян Ле Кун — пионер глубокого обучения и изобретатель сверточных нейронных сетей. В этом видео он показал, что Ларри Джекел и Владимир Вапник в то время сделали пару ставок на то, какой алгоритм станет более популярным.

«Сверточные сети и SVM были разработаны с разницей в несколько лет (между 1988 и 1992 годами) в отделе исследований адаптивных систем Bell Labs в Холмделе, штат Нью-Джерси. Ларри Джекел возглавлял отдел, в состав исследовательского персонала которого входили Владимир Вапник и я, а также Бернхард Бозер, Леон Ботту, Джон Денкер, Ханс-Петер Граф, Изабель Гийон, Патрис Симар и Сара Солла.

В 1995 году Владимир Вапник и Ларри Джекель заключили два пари (я был свидетелем, хотя и не совсем беспристрастным).
В первом пари Ларри заявил, что к 2000 году у нас будет теоретическое понимание того, почему большие сети работают хорошо (в виде границы, аналогичной той, что у нас есть для SVM). Он потерял.

Во втором пари Владимир Вапник утверждал, что к 2000 году никто в здравом уме не будет использовать нейронные сети того типа, которые были у нас в 1995 году (он утверждал, что SVM будут использовать все). Владимир проиграл не только в 2000 году, но и недавнее развертывание нейронных сетей Google и Microsoft в 2012 году доказывает его неправоту.

— Ян Ле Кун

Также обратите внимание на идею Изабель Гийон обобщить предложение Ванпинка об использовании произведений функций для включения более широкого диапазона нелинейных преобразований с использованием трюка с ядром. Этот подход перекликается с выводом № 4 из интервью Джерома Фридмана: обобщайте свое решение на более широкий класс проблем.

Вывод № 6. Роль сотрудничества в разработке и решении насущной проблемы невозможно переоценить. Найдите время для совместной работы. Когда вы это сделаете, вы будете двигаться быстрее.

7. Глубокое обучение

Мы заканчиваем это историческое исследование видео о «любимце» сообщества машинного обучения: глубоком обучении. Несмотря на то, что Янн Ле Кун представил первую часть этого же доклада в нескольких основных докладах, следующий сегмент представляет собой хорошее общее введение в глубокое обучение, охватывающее большую часть его истории в процессе. Самое интересное начинается после минуты 44:06, когда Ле Кун обсуждает открытые проблемы в ИИ.

«Если вы читаете СМИ… вы думаете, что проблема [ИИ] решена. Это вообще не решается. У вас выходят очень полезные приложения AI/ML, но это не решено».

— Ян Ле Кун

Способность «заглядывать за горизонт» — это черта, присущая многим исследователям, представленным в этой статье, поскольку они продолжают искать новый рубеж в обучении.

  • Брэд Эффрон в настоящее время работает над использованием начальной загрузки, чтобы выявить связи между байесовской и частотной статистикой.
  • Бернард Видроу исследует роль памяти в нейронных сетях.
  • Владимир Вапник исследует идею улучшения обучения с помощью «экспертного обучения».
  • Янн Ле Кун продолжает привносить азарт и новаторскую работу в изучение состязательной подготовки.

Вывод № 7. Всегда ищите новый рубеж в своей области. Учитывайте влияние текущих и приближающихся проблем.

Мы надеемся, что эта статья дала вам новый взгляд на природу перечисленных здесь алгоритмов. Если вы знаете видео или интервью, которые будут добавлены к этому обсуждению, опубликуйте их в разделе комментариев.