Недавно мы наткнулись на статью Покажи свою работу: новые термины для доверия к журналистике, в которой описаны методы, которые журналисты используют, чтобы вернуть доверие читателей к журналистике и дистанцироваться от ярлыка фейковых новостей. Мы хотели сделать то же самое с машинным обучением и обсудить, как внести достаточную ясность и прозрачность, чтобы вызвать к нему доверие со стороны клиентов / заинтересованных сторон.

Для тех, кто не знаком с 1plusX, мы являемся платформой для прогнозирования данных. Слово прогнозирующее предназначено для того, чтобы показать, насколько машинное обучение занимает центральное место в нашем предложении. Излишне говорить, что мы считаем, что машинное обучение действительно может позволить нашим клиентам получать больше доходов, сокращать расходы и облегчать их работу.

Мы считаем, что машинное обучение действительно может позволить нашим клиентам получать больше доходов, сокращать расходы и облегчать их работу.

При этом ясно, что машинное обучение достигло пика цикла ажиотажа. Похоже, что почти каждая компания заявляет или пыталась создать собственное предложение по машинному обучению с разным содержанием или успехом.

Кроме того, машинное обучение может быть черным ящиком, где, даже если кто-то действительно получает желаемые результаты, может быть трудно убедить заинтересованные стороны, начальников или руководителей в том, что они могут продолжать ему доверять. Мы наблюдаем это изо дня в день, поскольку многие заинтересованные стороны заботятся о DMP и страдают от них.

Помня об этих моментах, мы хотели начать разговор и указать на методы, которые мы используем, чтобы машинное обучение не только приносило достаточную ценность для наших клиентов, но и было чем-то, чему, по их мнению, они могут доверять.

Денежная ценность для клиента / заинтересованного лица

Одна из наших главных целей при работе с клиентом - взаимно оценить денежную ценность, которую приносит им наше предложение. В конце концов, предоставление нашим клиентам возможности ясно увидеть, что они увеличили выручку на X долларов или снизили затраты на Y процентов, является важным первым шагом на пути к завоеванию их доверия.

Предоставление нашим клиентам возможности ясно увидеть, что они увеличили выручку на X долларов или снизили затраты на Y процентов, - это важный первый шаг к завоеванию их доверия.

Это непростая задача. Как правило, для этого требуется наладить достаточно прочные отношения с нашими клиентами, чтобы мы могли глубоко понять, с чем они борются, и обсудить с ними, как это влияет на них в финансовом отношении. Такие вопросы, как «Какую альтернативу вы бы выбрали, если бы не было решения для машинного обучения?» и «Сколько стоит эта альтернатива в долларах, трудозатратах и ​​сложности?» являются хорошей отправной точкой для стимулирования этих дискуссий.

Тяжелая работа стоит того. Финансовый подход помогает нашим клиентам расставить приоритеты, что позволяет нам соответствующим образом настраивать наши алгоритмы, увеличивая наши шансы на успешный результат. Если вы, как и мы, поставщик машинного обучения, это также дает дополнительное преимущество в виде удобной настройки для тематических исследований.

Внешняя оценка качества

Каждый поставщик заявляет, что предлагает самое качественное машинное обучение, но мы считаем, что лучше, когда результаты подтверждены и могут говорить сами за себя.

Конечно, данные внешней проверки не всегда доступны, поэтому нам нравится, когда наши клиенты хотят провести внешнюю оценку качества наших прогнозов машинного обучения. Положительные результаты объективных третьих сторон могут убедить скептически настроенных сторон, что это не пустые маркетинговые заявления.

Для нас, к счастью, есть ряд поставщиков, которые могут подтвердить нашу работу. Например, мы предоставляем прогнозы для пола и возраста цифровых пользователей, которые могут быть оценены международными поставщиками панелей, такими как Nielsen, comScore и GfK, и региональными поставщиками, такими как немецкий Arbeitsgemeinschaft Online Forschung (AGOF) или швейцарский Link Institute. Недавно один из наших клиентов, Admeira, провел оценку с использованием решений Facebook Atlas Solutions и смог напрямую сравнить наши прогнозы с прогнозами своего существующего стороннего источника данных. Результаты показали, что наше качество на 32% лучше, чем у этого поставщика, что дает им вескую причину использовать только наше предложение.

Предсказуемость важнее качества

Несколько месяцев назад мы внедрили усовершенствование алгоритма, которое улучшило прогнозирование возраста клиента на 10%. Однако по прошествии месяца мы увидели неожиданные колебания в размере определенной аудитории в течение двух дней, прежде чем она стабилизировалась до более ожидаемого размера. Спустя несколько дней похожая вспышка произошла снова.

Проблема оказалась в очень редком наборе условий в данных, из-за которых все пошло наперекосяк. Мы считали, что вероятность того, что это повторится снова, очень мала. К сожалению, если бы это случилось снова, мы не смогли бы предотвратить повторение скачка размера снова. Мы решили отложить улучшение качества в пользу предсказуемости, чтобы сохранить доверие клиентов к нашим прогнозам.

Мы решили отложить улучшение качества в пользу предсказуемости, чтобы сохранить доверие клиентов к нашим прогнозам.

Отзывчивость на проблемы

Предложение машинного обучения требует работы с большим количеством данных. Мы обрабатываем терабайты данных ежедневно, и вместе с бешеной скоростью развертывания новых функций, ну, скажем так, самые продуманные планы мышей и людей иногда идут наперекосяк.

Ранее мы говорили о нашей системе мониторинга и оповещения. Нашим основным стимулом для настройки системы мониторинга и оповещения было обеспечение того, чтобы мы первыми узнавали, если что-то пойдет не так. Это дает нашим инженерам максимальное количество времени для устранения проблем, а также позволяет нам направлять нашим клиентам предупреждающие сообщения, чтобы они могли согласовывать планы действий в чрезвычайных ситуациях на своей стороне.

Визуализация и упрощение

Существует ряд фантастических ресурсов, таких как Edx, Coursera и Udacity, чтобы углубиться в детали машинного обучения, и мы, безусловно, поощряем наших клиентов проходить эти курсы.

При этом мы не ожидаем, что у менеджеров и руководителей наших клиентов будет на это время. Вместо этого мы сосредоточили наши усилия по управлению аккаунтом на разработке визуализаций и объяснений, которые позволяют нашим клиентам быстрее понять наш подход.

Например, мы часто показываем следующую визуализацию. Каждая точка представляет собой веб-статью или пользователя. Чем ближе точка к другой точке, тем они более похожи и, наоборот, чем дальше расположены две точки, тем меньше они похожи. В результате вы начнете видеть группы тем. Например, группа желтых точек представляет спортивные товары; серые точки рядом с желтыми представляют пользователей, которые больше всего интересуются спортивными статьями.

Наши алгоритмы на самом деле не вычисляют расстояния сходства между статьями или между пользователями. Однако для многих людей мысль о физических расстояниях и сходстве является гораздо более простой концепцией для понимания, чем если бы мы должны были подробно объяснить, что происходит за кулисами.

Прозрачные алгоритмы

Наконец, хотя мы еще ничего не внедрили с использованием этих алгоритмов, было бы упущением не упомянуть, что существует потребность в более объяснимом искусственном интеллекте. Например, если алгоритм диагностирует у кого-то астму, цель состоит в том, чтобы алгоритм также мог перечислить, какие симптомы привели его к такому выводу.

DARPA США - это одна крупная организация, которая активно продвигает объяснимый искусственный интеллект. Также существует группа в Вашингтонском университете, выпустившая LIME, которая помогает открыть черный ящик классификации изображений и текста.

Вывод

Мы активно заинтересованы в успешной реализации других проектов машинного обучения, чтобы все больше и больше людей могли понять ценность машинного обучения и поверить в его эффективность. Если повезет, мы сможем полностью пропустить впадину разочарования, которая затрагивает так много многообещающих новых технологий.

Мы надеемся, что эти анекдоты помогут зажечь разговор о том, как лучше всего укрепить доверие к машинному обучению. Если у вас есть другие методы, которые мы упустили, или у вас есть вопросы по теме, не стесняйтесь комментировать или свяжитесь с нами!