TL;DR Прогнозирование должно использовать более целостный подход, чтобы лучше понимать сложные человеческие события и ситуации.
Почему все опросы оказались настолько неверными в предсказании выборов в США в 2016 году и что это говорит о том, как использовались данные?
Независимо от того, какую политическую позицию вы занимаете в отношении результатов выборов в США в 2016 году, ясно, что самой большой ошибкой того дня было политическое прогнозирование. Подавляющее большинство опросов, даже во второй половине дня во вторник, предсказывали, что Хиллари Клинтон будет избрана следующим президентом США.
Это событие ясно показывает, насколько легко данные могут быть неверно истолкованы при просмотре без полного контекста. Это, очевидно, привело к ложному результату или предсказанию. Признание этой ошибки и изучение ее первопричин имеет решающее значение, поскольку мы пытаемся лучше понять мир в целом с помощью данных.
Доверие общественности к такому подходу (обогащенному данными) принципиально важно для принятия будущей работы, как публичной, так и частной, в нескольких областях. Непосредственная опасность заключается в том, что в будущем будет происходить много подобных ошибок (обоснованных данными), если не будет применен лучший, более целостный подход.
Кажется, мы живем в эпоху «больших данных», но не совсем в эпоху «больших идей».
Реальность в отношении ограниченных данных
Мы стали чрезмерно полагаться на тип «чистых данных», которые были представлены как фактическое описание реальных событий во время выборов. Объем данных, которые можно собрать в настоящее время, все еще несколько ограничен. Имея это в виду, его следует использовать для иллюстрации части картины, а не для рассказа всей истории. Хотя заманчиво делать прогнозы на основе данных, которые можно легко собрать, жизненно важно также помнить о том, что собрать нельзя.
Насколько полной выглядит картина при меньшем количестве информации и можно ли узнать, что еще действительно нужно?
Могут ли опросы задавать вопросы?
Сосредоточение внимания на ежедневных или даже ежечасных результатах опросов создавало ложное впечатление, что действия кандидата будут немедленно отражены в данных. Мысль о том, что как что-то происходит, так это изменение должно быть зафиксировано и проанализировано. Однако необходимо понимать, что жизнь большинства людей не связана с 24-часовым циклом новостей. Независимо от того, насколько возмутительными были многие новости об этих выборах, не следует делать предположение, что доступ или интерес к этим событиям был всеобщим.
Квантовая физика диктует, что точка данных одновременно существует в двух состояниях, пока ее не наблюдают. Это относится и к опросу. Акт целенаправленного опроса на основе новой информации в худшем случае явно подчеркивает содержание события срочные новости. В лучшем случае это действует как предупреждение о том, что есть веская причина изменить точку зрения или проголосовать. Таким образом, сам акт постановки вопроса меняет результат. Конечно, то, как формулируется вопрос и каким образом, также может иметь значение.
Поймите основные причины почему
Точно так же, как ежечасное приглашение людей выходить на улицу, чтобы записывать погоду, не улучшает долгосрочное прогнозирование, то же самое можно сказать и о политическом прогнозировании. Увеличение количества данных не улучшит прогноз, если причины, лежащие в основе результата, точно не известны.
При прогнозировании вероятности урагана анализ данных о атмосферном давлении, направлении ветра, температуре и т. д. помогает предсказать вероятный исход. Однако эти данные полезны только тогда, когда известна четкая картина того, почему происходят события. Без понимания (научной) причины образования ураганов ни один фрагмент климатических данных не может быть полезен. Необходимо знать все элементы, влияющие на решение при голосовании, а не только очевидные.
Чтобы действительно понять любую ситуацию, требуется более полное участие и наблюдение.
Пейзаж меняется
Весь ландшафт изменился по сравнению с тем, что было четыре года назад. Было бы странно предполагать, что социальные сети, новостные репортажи или любая глобальная политическая ситуация будут жесткими и неизменными.
«Правила» относительно того, что политический кандидат должен говорить, быть или действовать, постоянно меняются. Способы коммуникации, передачи фактов или сообщений также резко изменились со времени последних выборов.
Идея о том, что структура, лежащая в основе данных, не меняется, является опасным предположением, поскольку тогда становится очень легко не задавать новые вопросы об основной важности любых данных. Если мы перестанем рассматривать все составные части, составляющие то, что происходит во время выборов, то в конечном итоге у нас будет меньше понимания, даже если у нас будет больше информации.
Большинство событий, в которых люди в масштабе являются частью процесса, всегда будут подвержены изменениям с течением времени.
То, что могло быть правдой вчера, не обязательно верно завтра.
Истории и эмоции имеют значение
Одна из самых сложных вещей, которую трудно зафиксировать в данных, — это эмоции, которые делают нас такими человечными. Превратить наши гуманистические тенденции в машиночитаемое состояние по-прежнему сложно, поскольку компьютеры в значительной степени придерживаются бинарного взгляда на мир. Можно предположить, что такое решение, как избрание следующего президента, сводится к сопоставлению одного набора объективных фактов с другим, чтобы прийти к рациональному результату. Однако избираемый человек также является лидером, поставленным на эту должность через призму эмоций, опыта и личных интересов избирателя. Эмоции, безусловно, сыграли свою роль на выборах, но им не придали того значения, которого они заслуживают в голосовании.
То же самое относится и к сторителлингу: рассказ «правильной» истории, которая находит отклик у наибольшего числа избирателей, по-прежнему занимает центральное место в предвыборной кампании. Хотя о предпочтениях избирателей можно собрать больше данных, машинное обучение по-прежнему плохо справляется с созданием историй. Рассказывание историй по-прежнему остается одним из наших величайших (человеческих) талантов, и его нельзя упускать из виду. Факты могут быть проиллюстрированы только в контексте истории, чтобы они имели какое-то значение.
Когда данные работают хорошо, их следует принять, когда они не дают желаемого результата, это следует признать и учесть. Данные не должны информировать каждое решение, и все еще есть место для эмоций и рассказывания историй, чтобы связаться с аудиторией.
Действительное понимание голосования
Со временем и с дополнительными исследованиями все причины, по которым кто-то голосует определенным образом, станут лучше понятны. Когда это произойдет, любой политик сможет лучше служить этой группе благодаря лучшему пониманию как человека, так и общества, в котором он живет. Конечным результатом должно быть то, что голосующая общественность получит больше того, что для нее важно и актуально. Во многом такая же ситуация складывается и на рынке потребительских товаров. Когда задаются правильные вопросы, лучшее понимание того, что «на самом деле» нужно, приводит к созданию более качественных продуктов и услуг. Именно так рынок может точно дать нам больше того, что мы хотим. В случае с Демократией это, конечно, будет отражением желаний большинства. В случае с потребительскими товарами это будет зависеть как от покупательной способности, так и от индивидуального вкуса.
Со временем мы придем к тому, что мир, управляемый данными, станет ближе к тому, к чему мы стремимся.
Вопрос без ответа
Самый большой вопрос, который следует задать, — почему явка избирателей была такой низкой. Более 690 миллионов долларов было потрачено за 19 месяцев с целью избрания одного человека президентом.
Из тех, кто имел право голоса, только 56% решили воспользоваться своим конституционно защищенным правом голоса. Это многое говорит о политическом истеблишменте, гражданской активности и роли современного демократического процесса. То, что 43% населения не имели никакого мнения или интереса к тому, кто будет следующим президентом Соединенных Штатов, указывает на более серьезные проблемы.
Всего избирателей, имеющих право голоса: 231 556 622 100 %
Доступное количество избирателей, проголосовавших 131 741 500 56,8%
Доступное население, которое не голосовало 99 815 122 43,2%
Всего голосов за Хиллари Клинтон 60 071 781 47,7%
Всего голосов за Дональда Трампа 59 791 135 47,5%
По явке избирателей США занимают 31-е место из 35 стран ОЭСР. Понимание причин, по которым это происходит, поможет не только будущим политикам (которые должны захотеть охватить более широкую аудиторию), но и обществу в целом.
Более широкое взаимодействие с общественностью должно быть возможным благодаря более разумному использованию данных, чтобы лучше представлять все население США. Прогнозирование того, почему кто-то проголосует так или иначе, — это гораздо больше, чем простой бинарный выбор. Чтобы по-настоящему понять современного избирателя, нам нужно понять, что для него важно, как он думает и как действует. Хотя более целостный подход к данным, безусловно, сопряжен со многими трудностями, в конечном итоге он даст гораздо более четкое представление о любой сложной ситуации, а не только об опросах на выборах.
Люди сложные. Помня об этом, пытаясь рассмотреть все аспекты любой конкретной ситуации, в конечном итоге вы получите более ясную картину, лучший прогноз и лучшее понимание того, что делает нас людьми.
Дополнительная литература
https://www.theguardian.com/news/datablog/2016/oct/29/voter-turnout-us-election-2016-register
http://www.demos.org/publication/why-are-51-million-eligible-americans-not-registered-vote
http://www.politico.com/story/2016/11/is-nate-silver-538-right-230734
https://www.quantamagazine.org/20161108-why-nate-silver-and-sam-wang-are-wrong/
