Как модели машинного обучения могут изменить поведение общества

Вчера один из специалистов по обработке данных, который только что присоединился к моей команде, задал мне вопрос. Его вопрос был связан с очень конкретной проблемой в нашей компании, но значение ответа гораздо глубже. Он спросил:

Текущая производственная модель определяет, вернем ли мы вызов лиду на основе заданного набора функций. Если предыдущая модель определила, что определенные функции указывают на то, что мы никогда не должны вызывать потенциальных клиентов, то теперь эти функции сильно коррелируют с результатом, поскольку мы вызываем только эти интересы. Если я хочу запустить новую модель, не будут ли утечка данных из этих функций?

Другими словами: если мы обучаем модель с заданным набором функций и демонстрируем действие, основанное на этих функциях, тогда эти функции теперь коррелируют с результатом, и все последующие модели будут продолжать их использовать.

Вот краткий пример того, как это работает:

Трубопровод:

  • Учитывая набор входных функций, верните вероятность конверсии лида.
  • Учитывая вероятность конверсии лида, перезвоните клиенту.
  • Если у нас огромное количество потенциальных клиентов и только небольшое количество обратных вызовов, как мы можем это оптимизировать?

Допустим, у нашей модели есть потенциальные клиенты из Facebook, Google и Bing. Если наша первая модель решит, что вероятность конверсии из этих данных источников составляет 3%, 5% и 1%, и у нас есть ограниченное количество обратных вызовов, которые мы можем сделать, мы обратим вызов только с вероятностью 5%. Теперь перенесемся на два месяца вперед. Вторая модель обнаруживает, что эти вероятности сейчас равны: 0,5%, 8,5% и 0%. Что случилось?

Поскольку мы начали перезванивать только лидам Google, мы увеличили наши шансы на преобразование этих лидов, а также, поскольку мы перестали звонить лидам Facebook и Bing, эти лиды никогда не конвертировались, потому что мы никогда не звонили им. Это пример обратной связи в реальном мире.

Такая обратная связь опасна для компании, но может быть еще опаснее для общества.

В приведенном выше примере цикл обратной связи означает, что мы теряем потенциальных клиентов Facebook и Bing из-за исторических показателей конверсии. Эти базовые показатели могут измениться, а это означает, что со временем эти лиды действительно могут стать лучше (например, если Facebook будет лучше справляться с воронкой, ведет в нужные места). Поскольку у нас есть модель с сильными коэффициентами, снижающими вес, мы можем никогда не называть эти опережения и будем предвзято относиться к ним даже при изменении.

Модель в этом случае больше не основана на фактическом базовом распределении конверсии лида из источника, а вместо этого основана на поведенческом результате (т.е. обратном вызове источников) конверсии лида из источника.

Отношение к более широкому пониманию

Знаменитый случай такой петли обратной связи - модели рецидивизма. Если мы обучим модель предсказывать, окажется ли заключенный снова в тюрьме, на основе некоторых характеристик, включая местоположение, пол, вероятность того, что члены семьи попадут в тюрьму, и совершенное преступление, мы можем обнаружить, что наша модель особенно предвзята по отношению к определенной этнической принадлежности. и секс. Почему это?

Если чернокожие мужчины в Балтиморе с большей вероятностью попадут в тюрьму из-за цвета их кожи и пола, то модель это поймет. Но почему они с большей вероятностью попадут в тюрьму? Причина в том, что их основная доля совершения преступлений выше, чем у белых женщин в Сиэтле, или потому, что исторически (и в настоящее время) система правосудия более предвзята по отношению к этой группе и принимает меры против них с гораздо большей скоростью?

Возможно, это не особенно понравится большинству читателей не потому, что вы не заботитесь о справедливости, а потому, что вы не можете контролировать модели рецидивизма. Еще один пример, который я выделю, - это найм моделей.

Допустим, мы добавляем гендер в наши модели найма. Модель найма здесь - это модель, позволяющая предсказать, будет ли нанят успешным кандидатом для компании. Допустим, мы создаем модель приема на работу разработчиков программного обеспечения в Google. Мы обнаружили, что подавляющее большинство «успешных» разработчиков программного обеспечения - мужчины. Тогда, учитывая 1 тыс. Кандидатов, не следует ли нам выбирать только кандидатов-мужчин?

Эта модель может быть необъективной по нескольким причинам, например, «успешный» выбран по какой-то метрике, которая изначально больше ориентирована на мужчин, что женщинам труднее быть «успешными» в мире, где доминируют мужчины, или по множеству других причин. Несмотря на это, компания может принять меры на основе этого гендерного разделения и создать это подразделение дальше.

Возможно, сегодня большинство компаний осознают расовое и гендерное неравенство и активно борются с ним. Но, возможно, скрытый на нескольких уровнях, он упускается из виду в моделях банковских кредитов, моделях цен на страхование и других моделях, определяющих наш мир.