Когда модели AI/ML делают прогноз, заинтересованные стороны бизнеса хотят знать «Почему?». Почему так сложно ответить на вопрос «Почему»?
Часть 1. Объяснимый ИИ
Революция AI/ML привела к созданию новых должностей, таких как Data Scientist, Translators, Data Engineers и MLOps Engineers. Появилась дополнительная недооцененная роль; «Объяснитель». Это может быть не отдельная позиция, но, тем не менее, она представляет собой важнейшую деятельность во всем потоке создания ценности AI/ML.
Идеи AI/ML не всегда являются простыми объяснениями. Возьмем классическую историю с пивом и подгузниками. Ассоциативные модели обнаруживают, что покупатели, которые покупают пиво, часто покупают подгузники. Теперь мы знаем, что мужья, которым приходилось останавливаться и покупать подгузники, часто брали по дороге упаковку из 6 штук. Это привело к тому, что супермаркеты начали размещать пиво рядом с подгузниками для удобства покупателей и стимулирования дополнительных продаж. Это понимание требовало некоторого «объяснения», поскольку оно не соответствовало бы парадигме маркетологов мира.
Когда модели AI/ML делают прогноз, заинтересованные стороны бизнеса хотят знать «Почему?» Чтобы удовлетворить эту потребность, сообщество AI/ML испробовало несколько подходов. Мы разрабатываем «интерпретируемый AI/ML», используя независимые от модели подходы, такие как значения Шепли. Однако эти подходы по-прежнему терпят неудачу. Значения Shapley являются описательными, они отображают, какие переменные использовались моделью. Это современный «анализ лифта». Они терпят неудачу, потому что они не «объясняют» для интуитивного понимания. Тот факт, что повышение цен на сталь в Индии на 1% приводит к увеличению доходов судоходных компаний на 3% (гипотетический пример для наглядности), по-прежнему вызывает недоумение у большинства людей.
В попытке решить эту проблему одним из направлений является движение к «каузальным моделям». Причинно-следственные модели будут включать переменные, которые интуитивно понятны и отображают прямые и косвенные связи с целевой переменной. Например, сталь из Индии отправляется в Китай для производства, а производственная деятельность в Китае связана с пропускной способностью портовых контейнеров, которая напрямую связана с доходами судоходных компаний (еще один гипотетический пример).
Причинные модели обычно основаны на байесовских сетях убеждений. Эти алгоритмы существуют уже давно, просто раньше мы никогда не заставляли их работать. Тем не менее, в последнее время был достигнут значительный прогресс, и мы должны ожидать улучшения. Проблема в том, что каузальные модели также вряд ли решат «дилемму объяснимости». Для простых формулировок проблем, где есть лишь несколько драйверов, должны помочь причинно-следственные модели. Для формулировок задач, таких как экономическая система, цепочка объяснимости имеет тенденцию к экспоненциальному взрыву, и такие модели менее точны. Несмотря на это, сложность не является самой большой проблемой. Мы всегда можем попытаться найти способы упростить задачу или добавить больше вычислительной мощности.
Берем сегвей. В выпуске The Economist от 15 мая 2021 года была интересная статья под названием «Парки и размножение». Это показало, что посещения парков, как ни странно, были сильным предиктором уровня рождаемости во время Covid 19. Это намного превосходило ограничительные меры, меры рождаемости и экономический рост.
The Economist не предполагает, что те, кто посещает парки, заражены новым, неизвестным вирусом осеменения. Скорее, это предполагает, что, возможно, на посещение парков влияет ненаблюдаемая, смешанная переменная, которая влияет как на уровень рождаемости, так и на посещения парков. Одна из возможностей состоит в том, что посещение парка измеряет страх. Цитата «В местах, где люди слишком боялись ходить в парки или где парки были закрыты, пары также могли бояться заводить детей». Endquote.
Пример посещения парков с уровнем рождаемости показывает, что наблюдаемые прогностические переменные не находятся непосредственно в причинно-следственной цепочке. Есть, вероятно, вне причинно-следственной цепи. Прогностические переменные, которые не входят в причинно-следственную цепочку, не могут быть решены с помощью причинно-следственного моделирования.
Чтобы объяснить предсказание, сделанное AI/ML, нам нужно было бы, как Нео, «войти в Матрицу», чтобы соединиться с машиной и понять, как она думает. Подобно Нео, Тринити, Морфеусу и всем «пробудившимся» людям Сиона, которые осознают оба мира, необходимо «пробуждение».
ИИ визуализирует мир по-своему, не обязательно через ту же призму, что и эксперт в предметной области. Люди предпочитают линейную, прямую связь и причинно-следственную линзу. Это наша аналитическая линза или ментальная модель. Аналитическая линза ИИ отличается. Он предпочитает нелинейные, многомерные, непрямые связи, корреляционную линзу. Различные линзы будут оптимизироваться для разных драйверов и подходов.
Два человека, глядя на одни и те же данные через призму разного цвета, будут обрабатывать их по-разному. Это как бухгалтер и экономист. У этих двух профессий есть свой язык и свои способы анализа проблемы. Они оба могут прийти к одному и тому же выводу «Не инвестируйте в компанию X», но они могут прийти к этому выводу разными путями.
Таким образом, возможно, мы должны позволить ИИ заниматься своими делами. Пусть анализирует мир в той парадигме, которую знает лучше всего. Пусть бухгалтер будет бухгалтером, а экономист обработает мир как экономист. Суть в том, что как только ИИ придет к выводу и решению, нам нужно НЕ сообщать о своих выводах на языке ИИ. Мы должны общаться на деловом языке. Линза, через которую ИИ сообщает выводы, может не совпадать с линзой, через которую он анализирует данные. Самые влиятельные экономисты обычно общаются на одном языке. Не основано на эко-языке.
Этот разрыв нельзя закрыть, заставив ИИ думать как человек или используя те же драйверы, что и человек. Такой подход ограничивает эффективность ИИ. Это сделает его идеи более скучными, а прогнозы — менее точными. Разрыв также не закрыт, перечисляя драйверы, на которые смотрит ИИ, поскольку большая часть этого достаточно понятна и своеобразна. Этот пробел закрывается, если взглянуть на вывод, к которому пришел ИИ, и с помощью нашей собственной человеческой причинно-следственной линзы спросить себя: «Если ИИ прав, что он видит, что может объяснить такой результат».
Когда мы представляем данные для объяснения решения ИИ, менее полезно отображать прогнозные переменные, которые видит ИИ, хотя это то, о чем все просят. Вместо этого необходимо сделать две вещи; отображать решение ИИ; и отображать интерпретационные переменные, которые необходимы человеку для проведения той же оценки. Каждому свое.
Часть II. Синтез
До сих пор мы касались только аналитических навыков более низкого уровня в объяснении и понимании результатов AI/ML. В аналитически сложных случаях использования, где работают инвестиционные банкиры, кредитные и исследовательские аналитики, нам нужен не только анализ. Нам нужен синтез. Соединяем точки и рассказываем историю. За «Объяснителем» стоит «Синтезатор».
Эпистемологически Иммануил Кант отмечал, что знание «синтезируется» комбинацией необработанных данных и интерпретации. Мы все можем смотреть на одни и те же данные, но по-разному интерпретировать их.
Ментальные модели AI/ML будут отличаться от ментальных моделей предметной области. Например, люди увидят доход, разложенный на учетные переменные, такие как драйверы цены и количества. Это парадигма, которой мы тоже пользуемся. И наоборот, AI/ML может видеть доход, разложенный на ряд «шаблонов», состоящих из стационарности, режима, тренда, сезонности и цикличности. Понимание того, что доходы меняются в результате изменений в цикличности, может дать собственное уникальное понимание бизнеса. Именно потому, что сегодня у нас нет этой ментальной модели, мы не можем синтезировать это понимание. Если вы не понимаете, что означает смена режима, вы не сможете воспользоваться этой информацией, когда модели AI/ML заметят, что это только что произошло.
Чтобы синтезировать знания от ИИ и экспертов по предметным областям, потребуется появление следующего поколения. Точно так же, как сегодняшнее поколение аналитиков знакомо с бухгалтерским, экономическим и статистическим жаргоном из-за их академической подготовки, следующее поколение выпускников будет чувствовать себя комфортно с жаргоном AI/ML. Это новое «поколение с синтетическим мышлением ИИ/человека» будет мыслить как киборги — наполовину человек, наполовину машина. Они будут переключать аналитические линзы, как говорящие на двух языках или, скорее, на «синглише» (сингапурский английский, местный креольский).
И наоборот, мы можем и должны разрабатывать модели AI/ML, которые приближают его объяснения к ментальным моделям, с которыми уже знакомы специалисты в предметной области. В конце концов, разрыв должен быть закрыт в обе стороны.
Часть III: Battlefield 2050
Теперь мы подходим к последней теме: если это мир, который возникнет, каковы будут последствия для организации, чтобы быть готовой. Будущая бизнес-война — это война AI/ML, и организация, которая научится создавать и внедрять «объяснителей-синтезаторов», укрепит свои позиции. Это конкурентное преимущество является устойчивым, и его нелегко воспроизвести. Чтобы выиграть войну, это вопрос жестких и мягких факторов. Недостаточно просто строить танки, нужно иметь тактику мобильной войны. Жесткость измеряется большим количеством танков и стали. Мягкость измеряется тактикой и боевым духом солдат. Мягкие факторы — это множитель силы, они дают вам больше результатов с меньшими затратами.
Говорят, что те, кого мы не извлекаем из истории, обречены на ее повторение. В документальном фильме Netflix о танках первые сражения с танками с треском провалились. Полевые лидеры отнеслись к этому железному коню с большим скептицизмом, несмотря на всю шумиху в прессе. В то время как инженеры изобретали танки и строили танковые заводы, генералы не адаптировали боевую тактику, специфичную для мобильной бронетехники. Ценность танка не была полностью осознана, потому что военные генералы использовали танки с той же тактикой, что и тяжелая конница. Излишне говорить, что военные в конце концов поняли это и усвоили этот урок. Каждый раз, когда появляются новые технологии (завоевание превосходства в воздухе, ядерная война, асимметричная война, кибервойна), они разрабатывают новую тактику на поле боя.
В прошлом узкими местами при внедрении AI/ML были серьезные факторы в отношении инфраструктуры, данных и даже кадрового обеспечения. По мере того, как организации достигают зрелости AI/ML, узкое место будет смещаться. Следующим узким местом, которое возникнет, будет в целом «тактика AI/ML», особенно в области «соединения точек», чтобы понять результаты моделей AI/ML.
У автора несколько лет опыта практического применения ИИ. Обычным воскресным вечером, вдохновленный передозировкой кофеина и книгами, он кладет ручки на бумагу или, скорее, ладони на клавиатуру, размышляя и разъясняя невыразимый, изреченный, изнеженный, глубокий и непостижимый Вопрос «Почему».
