Что COVID сделал со всеми нашими моделями?

Джон Ф. Элдер и Дин Эбботт

Интервью с Дином Эбботтом и Джоном Элдером об управлении изменениями, сложности, интерпретируемости и риске того, что ИИ завладеет человечеством.

После KNIME Fall Summit динозавры разошлись по домам… ну, выключили ноутбуки. Дин Эбботт и Джон Элдер, давние эксперты в области науки о данных, были приглашены на осенний саммит Майклом Бертольдом, чтобы присоединиться к нему в обсуждении Будущее науки о данных: беседа у камина с динозаврами отрасли. Результатом стал блестящий разговор о проблемах науки о данных и новых тенденциях. После выключения света в студии Розария Силипо выделила и расширила некоторые основные моменты, касающиеся управления изменениями, сложности, интерпретируемости и многого другого в мире науки о данных. Посмотрим, куда это нас привело.

Каков ваш опыт управления изменениями в ИИ, когда необходимо обновлять реальность и модели? Что COVID сделал со всеми нашими моделями?

[Dean] Алгоритмы машинного обучения (МО) предполагают согласованность между прошлым и будущим. Когда что-то меняется, модели терпят неудачу. COVID изменил наши привычки и, следовательно, наши данные. Модели до COVID изо всех сил пытаются справиться с новой ситуацией.

[Джон] Простым примером может служить слой Traffic на Картах Google. После того, как в 2020 году блокировка охватила страну за страной, оценки трафика Google Maps какое-то время были очень неточными. Он был построен на довольно стабильных обучающих данных, но теперь эта система полностью вышла из строя.

Как понять, что мир изменился и модели больше не работают?

[Dean] Вот небольшая хитрость, которую я использую: я разделяю свои данные по времени и помечаю записи как «до» и «после». Затем я создаю модель классификации, чтобы отличать «после» от «до» на основе тех же входных данных, которые использует модель. Если дискриминация возможна, то «после» отличается от «до», мир изменился, данные изменились, и модели необходимо переобучить.

Насколько сложно переучивать модели в проектах, особенно после многолетней кастомизации?

[Джон] Обучение моделей обычно является самым простым шагом! Подавляющее большинство успешных проектов умирают на этапе реализации. Наибольшее время тратится на этап очистки и подготовки данных. И большинство проблем упускаются или возникают на этапе понимания бизнеса/определения проекта. Таким образом, если вы понимаете, в чем заключается недостаток, и можете получить новые данные и иметь структуру реализации, создание новой модели, по сравнению с этим, очень просто.

Основываясь на вашем многолетнем опыте, насколько сложно собрать действительно работающее приложение Data Science?

[Джон] Конечно, это может варьироваться в зависимости от сложности. Большинство наших проектов получают работающие прототипы как минимум через несколько месяцев. Но для всех я не могу не подчеркнуть важность обратной связи: вам приходится разговаривать с людьми гораздо чаще, чем вы хотите. И слушай! Каждый раз мы узнаем что-то новое о бизнес-проблеме, данных или ограничениях. Не все из нас, количественных специалистов, умеют разговаривать с людьми, поэтому для этого часто требуется команда. Но вся команда стейкхолдеров должна научиться говорить на одном языке.

[Декан] Очень важно поговорить с нашим деловым партнером. Люди боятся перемен и не хотят менять текущий статус. Одна ключевая проблема действительно психологическая. Аналитики часто вызывают раздражение. Таким образом, мы должны построить доверительные отношения между бизнес-партнером и фанатами аналитики. Начало проекта всегда должно включать следующий этап: синхронизируйте экспертов предметной области/менеджеров проектов, аналитиков и группу ИТ и инфраструктуры (DevOps), чтобы всем было ясно о целях проекта и о том, как он будет выполняться. Аналитики занимают 11-е место в десятке лучших людей, с которыми им приходится видеться каждый день! Давайте не будем олицетворять высокомерие специалистов по данным: «Бизнес не может понять нас/наши методы, но мы знаем, что работает лучше всего». Однако мы не понимаем, что эксперты в предметной области на самом деле являются экспертами в области, в которой мы работаем! Ключевым моментом является перевод предположений и подходов в области науки о данных на язык, понятный экспертам в предметной области!

Последняя тенденция сейчас — глубокое обучение, очевидно, оно может решить все. Недавно я получил вопрос от студента: «Зачем нам изучать другие алгоритмы машинного обучения, если глубокое обучение — это современный уровень для решения задач науки о данных»?

[Дин] Глубокое обучение высосало много кислорода из комнаты. Это так похоже на начало 1990-х, когда нейронные сети восходили с таким же оптимизмом! Глубокое обучение — это, безусловно, набор мощных методов, но их сложно внедрить и оптимизировать. XGBoost, ансамбли деревьев, также являются мощными, но в настоящее время более популярными. Подавляющее большинство проблем, которые нам нужно решить с помощью расширенной аналитики, на самом деле не требуют сложных решений, поэтому начните с простого; глубокое обучение в этих ситуациях излишне. Лучше всего использовать принцип бритвы Оккама: если две модели работают одинаково, используйте самую простую.

О сложности. Другая тенденция, противоположная глубокому обучению, — интерпретируемость машинного обучения. Здесь вы сильно (чрезмерно?) упрощаете модель, чтобы иметь возможность ее объяснить. Так ли важна интерпретируемость?

[Джон] Мне часто приходится бороться с интерпретируемостью. Конечно, это хорошо, но часто приходится платить слишком высокой ценой самого важного свойства модели: надежной точности. Но многие заинтересованные стороны считают, что интерпретируемость важна, поэтому она становится барьером для принятия. Таким образом, важно выяснить, какая интерпретируемость необходима. Возможно, это просто знание самых важных переменных? Это выполнимо со многими нелинейными моделями. Может быть, как и при объяснении претендентам на получение кредита, почему им было отказано, нужно просто интерпретировать результаты по одному делу за раз? Мы можем построить линейную аппроксимацию для данной точки. Или мы можем сгенерировать данные из нашей модели черного ящика и построить «интерпретируемую» модель любой сложности, чтобы соответствовать этим данным.

Наконец, исследования показали, что если у пользователей есть возможность поиграть с моделью, то есть потыкать в нее пробными значениями входных данных, увидеть ее выходные данные и, возможно, визуализировать ее, они испытывают такое же теплое чувство интерпретируемости. В целом, доверие — к людям и технологиям, стоящим за моделью — необходимо для принятия, и это усиливается регулярным общением и включением конечных пользователей модели в этапы построения и решения процесса моделирования.

[Dean] Кстати, платформа KNIME Analytics имеет отличную функцию для количественной оценки важности входных переменных в случайном лесу! Узел The Random Forest Learner выводит статистику переменных-кандидатов и переменных расщепления. Помните об этом, когда используете узел Random Forest Learner.

Увеличивается количество запросов на объяснение того, что делает модель. Например, для некоторых классов безопасности Европейский Союз требует проверки того, что модель не делает того, что не должна делать. Если нам нужно все это объяснять, то, возможно, машинное обучение — не тот путь. Машинного обучения больше нет?

[Dean] Возможно, добиться полной объяснимости слишком сложно, но мы можем добиться прогресса, выполнив поиск по сетке входных данных модели, чтобы создать что-то вроде оценочной карты, описывающей, что делает модель. Это что-то вроде регрессионного тестирования в аппаратном и программном QA. Если формальное доказательство того, что делают модели, невозможно, тогда давайте тестировать, тестировать и тестировать! Перетасовка ввода и перетасовка целей могут помочь получить приблизительное представление о поведении модели.

[Джон] Говоря о понимании того, что делает модель, я хотел бы поднять проблему воспроизводимости в науке. Огромная доля журнальных статей во всех областях — от 65 до 90% — считается невоспроизводимой. Это настоящий кризис науки. Медицинские документы пытаются рассказать вам, как воспроизвести их результаты. Документы по машинному обучению, похоже, еще не заботятся о воспроизводимости. Недавнее исследование показало, что только 15% статей об искусственном интеллекте делятся своим кодом.

Давайте поговорим о предвзятости машинного обучения. Можно ли построить модели, не допускающие дискриминации?

[Джон] (Чтобы быть ботаником на секунду, это слово, к сожалению, перегружено. «Различать» слово в мире машинного обучения и есть ваша цель: провести различие между двумя классами.) ваш реальный вопрос, это зависит от данных (и от того, достаточно ли умен аналитик, чтобы скорректировать слабые места в данных): модели будут извлекать из данных отраженную в них информацию. Компьютер ничего не знает о мире, кроме того, что находится в данных перед ним. Таким образом, аналитик должен курировать данные — брать на себя ответственность за те случаи, которые отражают реальность. Если определенные типы людей, например, недостаточно представлены, модель будет уделять им меньше внимания и не будет столь же точной в будущем. Я спрашиваю: «Через что должны были пройти данные, чтобы попасть сюда?» (чтобы попасть в этот набор данных), чтобы подумать о том, как другие случаи могли выпасть по ходу процесса (это предвзятость выжившего). Квалифицированный специалист по данным может искать такие проблемы и думать о способах их корректировки/исправления.

[Dean] Предвзятость не в алгоритмах. Предвзятость в данных. Если данные необъективны, мы работаем с предвзятым взглядом на мир. Математика — это просто математика, она не предвзята.

Захватит ли ИИ человечество?!

[Джон] Я считаю, что ИИ — это просто хорошая инженерия. Превзойдет ли ИИ человеческий интеллект? По моему опыту, любой человек моложе 40 лет считает, что да, это неизбежно, а большинство старше 40 лет (как и я, очевидно): нет! Модели ИИ быстрые, лояльные и послушные. Как хорошая немецкая овчарка, модель ИИ пойдет и заберет этот мяч, но она ничего не знает о мире, кроме тех данных, которые ей показали. В нем нет здравого смысла. Это отличный помощник для конкретных задач, но на самом деле довольно тупой.

[Дин] На этой ноте я хотел бы сообщить о двух цитатах, сделанных Марвином Мински в 1961 и 1970 годах, на заре ИИ, которые, как мне кажется, хорошо описывают будущее ИИ.

«В течение нашей жизни некоторые машины могут превзойти нас по общему интеллекту» (1961 г.)

«Через три-восемь лет у нас будет машина с интеллектом человека» (1970)

Эти идеи существуют уже давно. Вот одна из причин, по которой ИИ не решит всех проблем: мы судим о его поведении на основе одного числа, только одного числа! (Ошибка модели.) Например, прогнозы цен на акции на следующие пять лет, предсказанные путем построения моделей с использованием среднеквадратичной ошибки в качестве показателя ошибки, не могут отразить полную картину того, что на самом деле делают данные, и серьезно затрудняют модель. и его способность гибко раскрывать закономерности. Мы все знаем, что RMSE — слишком грубая мера. Алгоритмы глубокого обучения будут продолжать улучшаться, но нам также нужно лучше оценивать, насколько хороша модель на самом деле. Итак, нет! Я не думаю, что ИИ захватит человечество.

Первоначально опубликовано на https://www.elderresearch.com 24 февраля 2021 г.