Машинное обучение - это фраза, которую я услышал от Салимы Амерши из Microsoft Research, когда мы говорили о том, как называть наш семинар о роли людей в машинном обучении.

Чем больше я думаю о словосочетании машинное обучение, тем больше оно мне нравится. Я думаю, это потому, что это напоминает нам об аналогии между машинным обучением (статистический метод) и человеческим обучением и обучением. Это также заставляет нас задуматься о потенциальной ценности человеческого опыта в помощи машинному обучению. В конце концов, я работаю в университете, учреждении, вся причина существования которого в том, что студенты учатся лучше, когда их обучают специалисты, чем они могут самостоятельно.

Экспертные системы

У идеи обучающих машин есть история. Экспертные системы были популярным искусственным интеллектом. техника 70-х и 80-х годов. Они основывались на использовании знаний экспертов-людей для разработки компьютерных систем для выполнения определенной задачи. Эксперты учили компьютер выполнять задачу (например, диагностировать болезнь). Эксперт делает это, описывая свои знания в виде набора правил, которые затем переводятся в понятную для машины форму (например, логику). Это немного похоже на лекцию, где я придумываю некоторые правила о том, как что-то (например, языки программирования) работает, превращаю их в понятную студентам форму (например, PowerPoint) и рассказываю их студентам, которые теперь могут их использовать.

Но возникла большая проблема: много экспертных знаний просто не состоит из четких логических правил. Многие знания неявны, мы можем делать что-то отлично, не будучи в состоянии объяснить, как мы это делаем. Майкл Поланьи описывает, как мы без усилий распознаем лицо, не имея возможности подробно описать те особенности, которые позволяют нам распознать его (мы знаем, что это сложная проблема в информатике), и управление автомобилем аналогично, мы делаем это, не задумываясь. . Экспертные знания также часто остаются неявными. Когда я обучаю программированию, мне легко научить, что такое, скажем, оператор if, но гораздо сложнее объяснить, как и когда использовать его таким образом, чтобы охватить все возможные применения. Мои знания синтаксиса и семантики языков программирования в основном явные, но многие мои знания о том, как программировать, неявны.

Машинное обучение

Сейчас экспертные системы вышли из моды именно по этим причинам, и сейчас используется машинное обучение. Мы больше не пытаемся сделать наши знания явными, мы просто передаем компьютеру много данных и позволяем ему учиться самому. Это работает для многих вещей, которые экспертные системы не могут сделать (включая, в определенной степени, распознавание лиц), и, похоже, решает проблему неявного знания нормально.

Но разве мы что-то не упускаем? Мы забыли об экспертах-людях, разве их знания еще не полезны? Мне нравится думать, что мои ученики учатся лучше (или, по крайней мере, быстрее), когда я их учу, чем они могли бы самостоятельно. Разве не то же самое можно сказать о компьютерах?

Изучение неявных навыков

Люди действительно изучают неявные навыки, от искусства до психотерапии в школах и университетах, разве их не учат? Несомненно, они получают что-то ценное, чему не могут научиться у себя.

Когда я преподаю программирование, я читаю лекции, в которых объясняются явные правила языка, что затем помогает им, когда они выходят и занимаются собственной практикой программирования (изучая неявные навыки). Мы могли бы сделать что-то подобное в машинном обучении, введя некоторые явные правила до начала обучения (байесовские сети делают что-то подобное, и мы также можем думать о ручных функциях, делающих что-то подобное).

Рефлексивная практика

Но на самом деле обучение работает не так. Я не просто даю своим ученикам какое-то правило, а затем говорю им, чтобы они продолжали учиться программированию. Большая часть реального обучения на моих курсах происходит в лабораториях. Конечно, много лабораторного времени - это самостоятельная работа, но это также место, где студенты могут попросить меня или моих помощников о помощи, а также получить от нас обратную связь. Во время этой обратной связи происходит что-то очень важное.

Дональд Шен описал, как работает этот индивидуальный коучинг, в своих книгах Рефлексивный практик и Обучение рефлексивного практикующего. Он изучил преподавание в нескольких профессиональных областях (архитектура, музыка, психотерапия), и во всех них коучинг один на один был ключевым. Учителя не могут научить четким правилам того, как делать что-либо из этих вещей (подход, который он называет технической рациональностью). Вместо этого ученики должны сами решать проблемы (например, как спроектировать школу, чтобы она вписывалась в сложный ландшафт). Но учителя могут помочь учащимся, когда они начнут учиться, давая обратную связь и демонстрируя новые способы решения проблемы. Хотя они не могут научить общим правилам, они могут показать, как действовать в конкретной ситуации, и таким образом помочь студентам прийти к их собственному общему пониманию.

Светоотражающие машины

Так может ли это сработать для машинного обучения? Можем ли мы научить машины неявному знанию, обучая так же, как мы обучаем людей неявному знанию?

Ключевая идея заключается в том, что обучение - это не просто определение явных правил или даже несколько правил, а затем предоставление ученикам возможности продолжить обучение самостоятельно, это цикл взаимодействия, когда ученики пытаются что-то сделать, а затем учителя дают им обратную связь. или помочь им улучшить то, что они сделали.

Я считаю, что этот тип цикла обучения реализуется с помощью подхода под названием Интерактивное машинное обучение, которое мне представила Ребекка Фибринк, с которой мне теперь очень повезло, что у меня есть коллега в Goldsmiths. Интерактивное машинное обучение не рассматривает машинное обучение как пакетный процесс, в котором вы передаете машине объем данных, а она сама работает. Он рассматривает это как цикл, в котором человек позволяет компьютеру немного поучиться, но затем смотрит на результат и дает обратную связь для его улучшения (например, путем предоставления дополнительных данных).

Мне кажется, что в исследованиях интерактивного машинного обучения мне действительно нравится то, как они действительно оценивают роль экспертов-людей, а также признают, что они не всегда могут знать все заранее, что им необходимо интерактивно участвовать в процессе обучения, чтобы понять, что проблемы есть. Я очень оптимистичен в отношении того, что он может немного приблизить процесс обучения машин к способу обучения людей.