Что общего у Facebook, Wells Fargo Bank и средств защиты от спама в электронной почте

Люди могут быть творческими, изобретательными, дерзкими и изобретательными. Но вы никогда не догадались бы об этом, если бы посмотрели на наши научные модели людей. Наши модели рассматривают людей как инертные физические объекты, как бильярдные шары или игральные кости. Я знаю это, потому что более десяти лет проработал в области построения моделей, в финансах, а затем в Google. Учитывая постоянно растущее распространение алгоритмов и моделей машинного обучения в нашей жизни, я считаю, что пора признать, что творчество может разрушать модели - и уже вызвало некоторые громкие проблемы.

Facebook отрицает случайные стимулы

Проблемы? Какие проблемы? Посмотрите, что произошло в Facebook. На сайте социальной сети давно был алгоритм «Лента новостей», который определял, какие истории показывать каждому пользователю. Но в 2016 году, накануне президентских выборов в США, некоторые наблюдатели утверждали, что ленту новостей манипулировали, чтобы показывать истории с целью повлиять на выборы, в том числе фейковые новости [1]. Генеральный директор Facebook Марк Цукерберг назвал обвинение «довольно безумным» и привел несколько впечатляющих показателей в качестве доказательства того, что все в порядке: «Из всего контента на Facebook более 99% того, что люди видят, является подлинным» [2]. Похоже, он не понимал, что существуют творческие способы манипулировать алгоритмом и пролетать мимо радаров показателей успеха. Цукербергу потребовалось два года, чтобы публично признать факт манипуляции. (До сих пор ведутся споры о том, повлияли ли манипуляции на исход выборов.)

Это не заняло так много времени. Если бы возможность творческой реакции на модели получила широкое признание, создатели моделей могли бы действовать быстрее. Я не пытаюсь построить модель творчества - я не уверен, что это возможно. Но я выявил модели стимулов, связанных с использованием модели, которые повышают вероятность нарушения модели. А когда креативность вероятна, владельцы моделей должны быть готовы постоянно менять модель по мере проявления творческой реакции.

Итак, какие модели стимулов могут стимулировать творчество? Подумайте, когда манипулировали алгоритмом Facebook. Когда в 2004 году был основан Facebook как сайт, на котором студенты могут делиться своими фотографиями, иностранные оперативники не использовали его. Манипуляция произошла накануне важных президентских выборов в США. К тому времени Facebook использовали 7 из 10 взрослых в США [3]. Эта ситуация создала случайные стимулы: успешное манипулирование новостной лентой Facebook потенциально может повлиять на исход выборов в США!

Пример Facebook демонстрирует, что хорошо сработавший алгоритм может начать давать сбой, когда есть сильные стимулы для манипулирования им. В данном случае стимулы были созданы случайно из-за высоких ставок на выборах и новой способности Facebook транслировать статьи для многих избирателей. В такой ситуации специалисты по сопровождению модели Facebook должны быть в напряжении, готовые к изменениям.

Wells Fargo неправильно использовала преднамеренные стимулы

Преднамеренно созданные стимулы также могут быть отброшены непредвиденным творчеством. Преднамеренный стимул - это когда кто-то («принципал») объявляет вознаграждения и наказания за действия, выбранные другими людьми («агентами»). Владелец стимула имеет в виду вселенную возможных действий, но творческие агенты могут изобретать новые действия, хорошие или плохие.

Рассмотрим льготы Wells Fargo Bank в 2010-х годах. Руководители банка заметили, что у наиболее прибыльных клиентов больше всего счетов, поэтому они стимулировали сотрудников банка открывать больше счетов. Однако в течение следующих нескольких лет тысячи сотрудников - а не только несколько плохих парней - обманным путем открыли миллионы неавторизованных счетов клиентов, в результате чего банк был оштрафован за плохой контроль [4]. Почему именно эти стимулы прошли так плохо? Более поздние свидетельства показывают, что многие сотрудники считали, что цели были недостижимы, но опасались увольнения за неспособность достичь целей [4]. Руководители Wells Fargo предполагали, что сотрудники откроют больше легальных счетов клиентов, но отчаявшиеся сотрудники мошеннически проявили изобретательность в отношении новых счетов, которые они открывали.

Чтобы предотвратить мошенничество, комментатор Стив Джусти предложил более сложные способы подсчета количества открытых счетов, например, «оглянуться назад» на все новые учетные записи, созданные, чтобы убедиться, что они действительно активны »[4]. Но это обращение с людьми как с инертными физическими объектами. Теперь, если вы измеряете что-то физическое, например температуру воздуха, и понимаете, что измерения были неправильными из-за солнечного света, тогда да, сделайте более сложную метрику, которая корректируется с учетом солнечного света. Но в этом случае эффект солнечного света присутствовал в данных до того, как вы начали измерять температуру - солнечный свет внезапно не стал фактором, потому что вы измеряли температуру. Напротив, сотрудники Wells Fargo не совершали широко распространенного мошенничества до поощрения, поэтому данных о мошенничестве до поощрения не было. Люди творчески изменились в ответ на стимул. И они снова могут измениться.

Следовательно, более сложная метрика может работать временно, но может - и при наличии стимулов, вызывающих отчаяние, - снова будет встречена изменением в поведении сотрудников. Затем работодатель и работник участвуют в гонке вооружений.

Вместо того, чтобы усложнять показатели, подумайте о деэскалации гонки вооружений. Измените стимулы. Уменьшите наказание и сделайте цели более достижимыми. Перестаньте угрожать увольнением сотрудников и убедитесь, что квота учетной записи соответствует местным условиям каждого филиала. В случае намеренно созданных стимулов есть много рычагов.

Блокировщики спама идут в ногу с изменениями

Но как насчет случайных стимулов, например, из-за важных выборов? Тогда вы застряли в гонке вооружений, и лучше всего сразу признать это. Facebook потребовалось два года, чтобы признать это, и они могли многому научиться у разработчиков моделей, которые на протяжении десятилетий серьезно относились к гонке вооружений: провайдеры электронной почты борются со спамерами. Спам демонстрирует две ключевые темы: как стимулы стимулируют гонку вооружений и как не отставать от гонки вооружений.

Никто специально не поощряет спам. Но у спама есть случайные стимулы, связанные с тем, насколько широко распространен детектор спама. Если специалист по обработке данных изобретет новый детектор спама и использует его для блокировки спама только в своей электронной почте, спамеры не заметят потери одной жертвы. У спамеров мало стимулов для определения детектора, поэтому модель спама может иметь впечатляющие показатели успеха, сохраняемые с течением времени. Но если такой крупный поставщик электронной почты, как Gmail, установит новый детектор спама, спамеры заметят резкое сокращение числа жертв. Тогда спамеры должны проявить изобретательность, иначе они обанкротятся. И за последние четыре десятилетия спамерам удалось продолжить проявлять творческий подход и оставаться в бизнесе, чему способствовали случайные стимулы. (Бывший генеральный директор Microsoft Билл Гейтс однажды попытался, но не смог изменить эти стимулы, взимая плату с отправителей электронной почты за электронные письма, классифицированные как спам [5].)

Провайдеры электронной почты, застрявшие в гонке вооружений надолго, разработали методы, чтобы не отставать. Во-первых, они не рассматривают обнаружение спама как разовый проект: они не развертывают модель и не забывают о ней. Вместо этого у них есть постоянные группы, которые продолжают работать над обнаружением спама. Команды постоянно отслеживают обратную связь и готовы к развертыванию новых моделей.

Генеральный директор Facebook Марк Цукерберг в конце концов усвоил урок постоянного улучшения модели, учитывая, что в 2018 году он сказал Конгрессу: «В России есть люди, чья работа - пытаться использовать наши системы ... Так что это гонка вооружений. Они будут становиться лучше, и нам тоже нужно инвестировать в это »[6].

Менее ясно, понял ли Цукерберг урок постоянного улучшения обратной связи. Группы по обнаружению спама постоянно улучшают показатели успешности модели и запускают новые формы обратной связи. Например, если письмо со спамом не проходит фильтры, получатель электронной почты может щелкнуть флажок «это спам» или соответствующий флажок «это не спам» для противоположной ошибки. Эти флаги обеспечивают проверку человеком на случай, если новый спам пройдет через фильтры.

Но будьте осторожны! Спамеры тоже проявили изобретательность с этими флагами! В 2011 году Yahoo сообщила, что спамеры создали несколько фальшивых учетных записей электронной почты, чтобы голосовать за свои электронные письма как не спам, получив название игровой атаки с голосованием [7]. Yahoo пришлось создать новую команду для работы по обнаружению фальшивых аккаунтов! (См. Это видео, чтобы узнать больше о гонке вооружений, связанной со спамом.) Таким образом, гонка вооружений требует от владельцев моделей постоянного творческого подхода, чтобы не отставать от них.

Ценностные суждения имеют значение

До сих пор я сосредоточился на творческих ответах, которые явно негативны для владельца модели, чтобы придать проблеме некоторую актуальность. Но много творчества - это положительно. Например, автор, который создает новый увлекательный, насыщенный информацией стиль новостей, чтобы получить высокий рейтинг в алгоритме ленты новостей Facebook, использует форму творчества, которую Facebook, несомненно, будет поощрять.

Точно так же Wells Fargo Bank фактически поощрял творческий подход к достижению квот по счетам. Бывший вице-президент банка Кэрри Толстедт сказала в интервью, что филиалы были лабораториями для экспериментов, где сотрудники придумывали собственные способы достижения целей. И банк отметил методы продаж, изобретенные рядовыми сотрудниками [8]. Конечно, новые творческие техники не должны были включать мошенничество.

Однако суждение о том, является ли техника хорошей или плохой, не всегда однозначно. Недавнее тематическое исследование оптимизации поисковых систем в Интернете, когда компании соперничают за повышение своего рейтинга в результатах поиска, показало, что разные участники имеют разные мнения о том, какие методы поисковые системы должны разрешать или запрещать. Этика оспаривается. Мальте Зевиц объясняет: «Изучение таких практик« этичного поведения »не только открывает возможности для переосмысления популярных стереотипов, таких как« игра в систему », но также привлекает внимание к часто упускаемой из виду борьбе за власть на полях современных схем ранжирования» [9]. .

Список санкционированных ответов?

Теоретически мы могли бы просто дать людям фиксированное меню законных, санкционированных или «официально хороших» действий. Но что происходит, когда люди не могут достичь своих целей этими действиями? Например, когда модель машинного обучения отказывает заемщику в ссуде, модель может предложить «действенный регресс», который заемщик может предпринять для получения одобрения, например создать дополнительную кредитную историю [10]. Но что происходит, когда «лучшие» формы обращения за помощью не совсем «действенны», например, изменение дохода? «О, да, я просто удвою свой доход, а затем повторно подаю заявку на ссуду…».

Этот мысленный эксперимент возвращает нас к основной теме стимулов. Если нет реально действенного обращения к результату модели (или результату измерения), но есть сильные стимулы, то люди будут искать способы достижения цели, которых нет в «официально санкционированном» списке - если даже такой список. Люди найдут творческие способы достижения цели, точно так же, как сотрудники Wells Fargo, которые боялись увольнения, если не достигнут кажущихся невозможными квот. Креативность некоторых сотрудников заслуживала похвалы, некоторые были этически серыми, а некоторые - мошенническими.

Темы по отраслям и дисциплинам

Итак, у Facebook, Wells Fargo и провайдеров электронной почты были модели или показатели, которыми можно было творчески манипулировать. Провайдеры электронной почты были единственными, кто признал творческий подход, имея постоянную команду, готовую идти в ногу с изменениями.

Но не каждому создателю моделей нужны постоянные деньги. Манипуляции с творческими моделями происходят не просто в случайное время и в случайном месте - это происходит при определенных сочетаниях стимулов. Манипуляция особенно вероятна, когда некоторые люди считают, что стимулы 1) сильно различаются по результату, например высокая награда или суровое наказание и 2) не предлагать «стандартных» действий для достижения лучшего результата. Затем люди создают нестандартные действия, чтобы получить лучший результат, который можно оценить как хороший или плохой. Когда эти условия преобладают, создатели моделей должны быть готовы к творчеству, движимому желаемыми результатами, чтобы разрушить свои модели.

Здесь я показал вихрь того, как человеческое творчество влияет на наши модели людей. Я обобщил условия, которые делают творчество более вероятным (хотя это может произойти в любое время), и некоторые способы, которыми владельцы моделей могут признать творчество. Многие дисциплины имеют похожие темы, но с другой терминологией. Моя цель в этом блоге - показать общую теоретическую основу всех дисциплин. Предыдущие работы включают:

  • Экономика (критика Лукаса, конструкция механизмов, асимметричная информация, эффекты вытеснения)
  • Машинное обучение (сдвиги распределения, состязательное машинное обучение, антипредсказуемые последовательности, стратегическая классификация, перформативное прогнозирование, действенное обращение, этический ИИ)
  • Установление политики (закон Гудхардта, закон Кэмпбелла)
  • Управление (стимулы, эффекты измерения, суррогация, культура)
  • Гонки вооружений
  • Биологическая эволюция (частотно-зависимый отбор, коэволюционные горячие точки)
  • Экономическая история (перформативная, контрперформативная)
  • Теория свидетельств Гленна Шафера
  • Петли обратной связи в системах управления

Хотя я зарабатываю на жизнь построением моделей людей, часть меня радуется каждый раз, когда кто-то переигрывает модель. Надо восхищаться этой храбростью. Это часть того, что делает нас людьми.

Но по мере того, как модели становятся повсеместными - они влияют на продукты, которые мы покупаем, новости, которые мы читаем, людей, с которыми мы встречаемся, - эта дерзость перестала быть просто любопытством. Это может сыграть важную роль в том, какие модели успешны, а какие нет. Пришло время заинтересованным сторонам модели признать роль творчества.

Постскриптум: этот пост был написан до разоблачения осведомителей в 2021 году о неспособности Facebook контролировать дезинформацию, но пост, безусловно, по-прежнему актуален!

использованная литература

[1] К. Ньютон, Цукерберг: идея о том, что фейковые новости в Facebook повлияли на выборы, - это безумие, The Verge, 10 ноября 2016 г. https: //www.theverge .com / 2016/11/10/13594558 / mark-zuckerberg-selection-fake-news-trump (по состоянию на 16 августа 2021 г.).

[2] М. Цукерберг, Марк Цукерберг, 12 ноября 2016 г. https://www.facebook.com/zuck/posts/10103253901916271 (по состоянию на 29 апреля 2021 г.).

[3] Дж. Грамлих, 10 фактов об американцах и Facebook, Pew Research Center, 1 июня 2021 г. https://www.pewresearch.org/fact-tank/2021/ 01.06.2019 / факты-про-американцы-и-фейсбук / (по состоянию на 26 сентября 2021 г.).

[4] Б. МакКлин, Как беспощадная корпоративная культура Уэллса Фарго якобы подтолкнула банкиров к мошенничеству, 31 мая 2017 г. [онлайн]. Доступно: https://www.vanityfair.com/news/2017/05/wells-fargo-corporate-culture-fraud

[5] Спам будет« решен через два года - Гейтс», InformationWeek, 26 ноября 2004 г. Дата доступа: 7 марта 2020 г. [онлайн]. Доступно: https://www.informationweek.com/spam-will-be-solved-in-2-years--gates/d/d-id/1022817

[6] Цукерберг: Facebook ведет« гонку вооружений с Россией», BBC News, 11 апреля 2018 г. Проверено: 16 августа 2021 г. [онлайн]. Доступно: https://www.bbc.com/news/world-us-canada-43719784

[7] А. Рамачандран, А. Дасгупта, Н. Фимстер и К. Вайнбергер, «Спам или хам? Характеристика и обнаружение мошеннических отчетов «не спам» в почтовых веб-системах », сентябрь 2011 г., стр. 210–219. DOI: 10.1145 / 2030376.2030401.

[8] Б. Кондон, Уэллс-банкир, известный излишеств, пережил стремительный рост, The Seattle Times, 11 апреля 2017 г. https://www.seattletimes.com/business/ wells-banker-singleled-out-for-excesses-has-a-a-razer-growth / (по состоянию на 19 сентября 2021 г.).

[9] М. Зевиц, «Переосмысление игр: этическая работа по оптимизации в поисковых системах», Soc. Stud. Наук, т. 49, стр. 030631271986560, август 2019 г., DOI: 10,1177 / 0306312719865607.

[10] Б. Устун, А. Спангер, Ю. Лю, «Действенное обращение в линейной классификации», Proc. Конф. Счет справедливости. Transpar., стр. 10–19, январь 2019 г., DOI: 10.1145 / 3287560.3287566.