Чем уволил Тимнит Гебру, и недавние статьи, опубликованные Google, говорят нам о состоянии исследований в крупнейшем в мире исследовательском отделе ИИ.

Кульминационным моментом для исследований Google в области искусственного интеллекта вполне может оказаться 19 октября 2017 года. Это была дата, когда Дэвид Сильвер и его коллеги из DeepMind опубликовали в журнале Nature отчет, показывающий, как их Алгоритм глубокого обучения AlphaGo Zero был лучшим игроком в го, чем не только лучший человек в мире, но и все другие компьютеры для игры в го.

Самым замечательным в AlphaGo Zero было то, что он работал без помощи человека. Исследователи создали нейронную сеть, позволили ей сыграть много игр в го против себя, и через несколько дней он стал лучшим игроком в го в мире. Потом они показали ему шахматы, и потребовалось всего четыре часа, чтобы стать лучшим шахматистом в мире. В отличие от предыдущих игровых алгоритмов, в алгоритм или специализированный алгоритм поиска не было встроено свода правил, просто игра за игрой играла машина, от новичка до уровня мастера, вплоть до уровня, на котором никто, ни компьютер, ни человек, не мог отвали.

Но возникла проблема.

Может быть, это была не проблема Сильвера и его коллег, но все же проблема была. Программа исследований DeepMind показала, на что способны глубокие нейронные сети, но также показала, на что они не способны. Например, хотя они могли тренировать свою систему для победы в играх Atari Space Invaders и Breakout, она не могла играть в такие игры, как Montezuma Revenge, где награды можно было получить только после выполнения ряда действий (например, спуститься по лестнице, спуститесь по веревке, спуститесь по другой лестнице, перепрыгните через череп и поднимитесь по третьей лестнице). Для этих типов игр алгоритмы не могут обучаться, потому что они требуют понимания концепции лестниц, веревок и ключей. Что-то, что мы, люди, встроили в нашу когнитивную модель мира. Но также кое-что, чему нельзя научиться с помощью подхода к обучению с подкреплением, который применил DeepMind.

Другой пример ограничений подхода глубокого обучения можно найти в языковых моделях. Один из подходов к тому, чтобы заставить машины понимать язык, применяемый в Google Brain, Open AI и других исследовательских институтах, заключается в обучении моделей предсказанию последовательностей слов и предложений в больших корпусах текста. Этот подход восходит к 1913 году и к работе Андрея Маркова, который использовал его для предсказания порядка гласных и согласных в Стихотворном романе Пушкина Евгений Онегин. В языке есть четко определенные шаблоны, и, изучая эти шаблоны, алгоритм может говорить на этом языке.

Подход к языку с обнаружением шаблонов интересен тем, что он может воспроизводить параграфы, которые кажутся имеющими смысл, по крайней мере, на первый взгляд. Хороший пример этого был опубликован в The Guardian в сентябре 2020 года, где ИИ размышлял о том, могут ли компьютеры принести мир во всем мире ». Но, как отмечают Эмили Бендер, Тимнит Гебру и коллеги в своей недавней статье Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?, Эти методы не понимают того, что мы пишем. Они просто сохраняют язык в удобной форме, а выводимые ими выходные данные просто повторяют данные. И, как показывает пример ниже, эти выходные данные могут быть опасно ложными. Наполненная данными о QAnon, языковая модель GPT-3 порождает ложь и теории заговора.

Бендер и ее коллеги объясняют, что многие из корпусов текстов, доступных исследователям - например, с Reddit и развлекательных новостных сайтов - содержат неверную информацию и сильно предвзято представляют мир. В частности, в этих корпусах преобладают белые мужчины в возрасте от двадцати лет. Более того, при внесении определенных «исправлений» в большие наборы данных, например, при удалении упоминаний о сексе, голосам ЛГБТК будет уделяться меньше внимания. Отсутствие прозрачности и подотчетности в данных делает эти модели бесполезными для чего-либо, кроме создания забавных статей Guardian (мои слова, а не авторов). Но у них есть существенные негативные последствия: создание переизданий фактически неверных текстов и потребность в вычислительных ресурсах, которые могут иметь большое влияние на окружающую среду.

Когда Гебру отправил статью с Бендером на внутреннюю рецензию в Google, она была отклонена, хотя впоследствии была принята после тщательной внешней рецензирования для публикации. Гебру позже уволили за возражение против просьбы своего менеджера отозвать свое имя или удалить ее имя из газеты.

Тем не менее, она не единственная, кто критикует методы исследования машинного обучения в Google.

В статье, опубликованной за несколько недель до увольнения Гебру, 40 исследователей Google из всей организации подняли серьезные вопросы, связанные с подходами машинного обучения к широкому кругу проблем. Они использовали пример моделирования эпидемии, чтобы проиллюстрировать свои опасения. На изображении ниже показаны две эпидемические кривые, предсказанные моделью машинного обучения, но основанные на разных предположениях о распространении болезни. Обе модели одинаково хороши в соответствии с алгоритмом, но они делают очень разные прогнозы о возможном размере эпидемии.

Это пример того, что известно как проблема недостаточной спецификации: многие модели объясняют одни и те же данные. Как написали 40 исследователей, недостаточная спецификация представляет собой серьезную проблему для доверия к современному машинному обучению. Это влияет на все, от обнаружения опухолей до беспилотных автомобилей и (конечно же) языковых моделей.

С моей точки зрения, исходя из 25-летнего опыта работы прикладным математиком, в статье 40 исследователей меня восхищает то, что прикладные математики десятилетиями осознавали проблему недостаточной спецификации или идентификации. Часто существует целый ряд моделей, которые могут объяснить конкретный набор данных: как мы можем определить, какая из них лучше? Ответ в том, что мы не можем. По крайней мере, мы не можем этого сделать, не сделав и не задокументировав дальнейшие предположения. Если мы хотим смоделировать распространение болезни, мы делаем предположения о поведении людей - как они отреагируют на изоляцию или появление вакцины и т. Д. Мы знаем, что не все, что мы предполагаем, можно измерить. Таким образом, предположения документируют то, чего мы не знаем, но думаем, что это может быть так.

В целом математическое моделирование состоит из трех компонентов:

1. Предположения: они взяты из нашего опыта и интуиции и служат основой для наших размышлений о проблеме.

2, Модель: это представление наших предположений в том виде, в котором мы можем рассуждать (например, в виде уравнения или моделирования).

3, Данные: это то, что мы измеряем и понимаем в реальном мире.

Программа машинного обучения Google была сильной стороной за последние пять лет, так это модель (шаг 2). В частности, они освоили одну конкретную модель: нейросетевую модель картинок и слов. Но это всего лишь одна из множества, а возможно, и бесконечного множества альтернатив. Это один из способов взглянуть на мир. Делая акцент на модели, исследователи, придерживаясь подхода чистого машинного обучения, делают очень сильное неявное предположение: их модель не требует допущений. Как уже давно известно прикладным математикам (а сейчас группа из 40 человек в Google), это не так. Все модели требуют допущений.

Предположение о «свободном от модели» затем приводит к проблеме стохастического попугая. Одна из сильных сторон, которую Deep Mind подчеркивает в своем подходе к нейронной сети, заключается в том, что она учится непосредственно на данных. В результате то, что их модели нейронных сетей в конечном итоге узнают, является не чем иным, как содержанием этих данных. Для настольных игр, таких как шахматы и го, или компьютерных игр, таких как прорыв, это не проблема. Исследователи могут генерировать бесконечное количество данных, моделируя игры и побеждая.

Но для обучения по словам или изображениям данные сильно ограничены по двум причинам. Во-первых, человеческие разговоры намного сложнее, чем игры, поскольку они связаны с нашим невысказанным пониманием значения объектов (например, ключей и черепов в Мести Монтесумы). Во-вторых, у нас есть доступ только к очень ограниченным наборам данных. Даже миллиарды слов на Reddit и новостных сайтах сплетен - излюбленном источнике данных - являются лишь очень узким представлением нашего языка. Необязательно быть Витгенштейном, чтобы понять, что нет способа изучить нашу настоящую языковую игру таким образом. Нейронные сети - это не что иное, как компактное представление гигантской базы данных слов. Итак, когда GPT-3 или BERT что-то «говорит», все, что он говорит нам, это о некоторых группах предложений и грамматических структурах, которые встречаются вместе в тексте. А поскольку модель не делает никаких предположений, единственное, чему учатся нейронные сети, как Бендер и др. указать, это случайное повторение содержимого Reddit.

Важное понимание, в частности, Тимнит Гебру, Маргарет Митчелл (еще один исследователь Google AI) и Джой Буоламвини (из Массачусетского технологического института) заключается в том, что технические проблемы заключаются в поиске способов организации и построения наборов языковых и графических данных таким образом. это как можно более нейтральное (один из примеров из Работы Гебру по распознаванию лиц показан на рисунке ниже). И, что еще более важно, мы должны быть честными, что истинный нейтралитет в языковых и графических данных невозможен. Если наши библиотеки текстов и изображений сформированы на основе сексизма, системного расизма и насилия и документируют их, как мы можем ожидать, что найдем нейтралитет в этих данных? Ответ в том, что мы не можем. Если мы будем использовать модели, которые учатся на Reddit, без предполагаемой модели, то наши предположения будут исходить из Reddit. Бендер, Гебру, Митчелл и Буоламвини показывают нам, что, если мы собираемся использовать этот подход, то мы должны сосредоточиться на поиске способов документирования данных и моделей прозрачным и контролируемым образом.

Есть ли надежда на Google Brain? Проблеск можно найти в том факте, что большинство статей, которые я цитирую здесь, критикующих общий подход Google, написаны их собственными исследователями. Но тот факт, что они уволили Гебру - автора по крайней мере трех самых проницательных статей, когда-либо выпущенных их исследовательским отделом и современным искусственным интеллектом в целом, - вызывает глубокую тревогу. Если руководители, утверждающие, что представляют большинство «гуглеров», не могут принять даже самую мягкую критику со стороны коллег, то это не сулит ничего хорошего новаторству компании. Риск состоит в том, что сторонники нейронной сети, «свободной от предположений», удвоят свои собственные ошибки.

Все великие исследования должны подниматься, а затем падать, поскольку одно модельное предположение сменяет другое. Как я писал в начале статьи, программа Deep Mind дала впечатляющие результаты. Многие идеи, лежащие в основе этого исследования, были разработаны вне Google - начиная с десятилетий исследований, например, Джеффри Хинтоном и его коллегами - и были сделаны в основном в рамках университетской системы. Эти десятилетия потребовались для того, чтобы реализовать истинный потенциал подхода Хинтона. Google дал последний толчок, предоставив время и компьютерные ресурсы, чтобы воплотить мечты исследователей в реальность.

Меня беспокоит то, что когда собственные исследователи Google начинают выдвигать новые идеи, компания воспринимает их как угрозу. Настолько серьезная угроза, что они увольняют своего самого инновационного исследователя и закрывают группы, выполняющие действительно новую работу. Я не хочу преуменьшать значение глубоко институционализированного сексизма и расизма, которые играют роль в увольнении Гебру - это все, чтобы увидеть. Но я хочу подчеркнуть, что Google тоже сделал что-то очень глупое. Вместо того чтобы предоставлять время и ресурсы своим величайшим умам, они смыкают ряды и смотрят внутрь себя на прошлые достижения.

Заголовок вопроса с кликбейтом нечасто заканчивается утвердительным тоном, но в данном случае так оно и есть: Исследование Google Brain похоже, что оно вот-вот рухнет.

Возможно, однажды мы увидим переход от Hinton (способы представления сложных данных в нейронной сети) к Gebru (подотчетное представление этих наборов данных) так же, как мы видим переход от Ньютона к Эйнштейну. И когда мы это сделаем, это будет не компания Google.