Автоматическая проверка фактов в режиме реального времени для президентских дебатов

Бум социальных сетей как источника информации привел к созданию информационных эхо-камер, которые сделали американскую общественность более восприимчивой к дезинформации. Более того, непомерный объем передаваемой информации ограничил нашу способность полагаться на традиционные средства проверки фактов, которые зависят от человека-регулятора. Одна из идей по борьбе с этой проблемой включает использование искусственного интеллекта (ИИ) для автоматизации задачи проверки фактов. В частности, использование обработки естественного языка (NLP) для классификации выбранных утверждений как истинных или ложных. Есть надежда, что такой подход значительно сократит время, необходимое специалистам по проверке фактов для классификации утверждений, вплоть до возможности проверки фактов в режиме реального времени, что может оказаться неоценимым в ситуациях с высокими ставками, таких как президентские дебаты. Однако ограничения NLP в понимании языковых нюансов, а также восприимчивость аудитории и средств массовой информации препятствуют успеху автоматической проверки фактов.

Одним из ярких примеров автоматизированной проверки фактов является проект Duke Reporters’ Lab: Tech and Check Cooperative. В частности, их «FactStream Apps» и веб-сервисы (Squash и Gardner), которые предназначены для обеспечения проверки фактов в режиме реального времени. Процесс, стоящий за этими приложениями, можно разделить на четыре основные части. Во-первых, аудио из прямого эфира преобразуется в текст с помощью программного обеспечения для распознавания голоса. Затем, используя алгоритмы обработки естественного языка и машинного обучения, выявляются фактические утверждения из текста. Затем эти утверждения сравниваются с онлайн-базой данных проверок фактов, проводимых независимыми организациями по проверке фактов. Здесь, если утверждение или родственное утверждение найдено в базе данных, его вердикт истинности или ложности вместе с сопроводительной информацией передается в приложение, которое затем показывает на экране заголовок с ранее проверенным утверждением вместе с вердикт. Важно признать, что все это делается в течение нескольких секунд, что дает возможность проверки фактов (почти) в реальном времени. Цель таких технологий — разоблачать ложные утверждения на месте, тем самым ограничивая распространение дезинформации и повышая осведомленность зрителей о достоверности утверждений, сделанных спикерами.

Однако при реализации этой технологии возникает несколько проблем, которые можно разделить на две большие категории: технологические ограничения и сопротивление внедрению. Во-первых, нынешнее состояние НЛП не приспособлено для обработки отсутствующих подразумеваемых утверждений или утверждений, встроенных в сложные предложения. Это особенно проблематично при проверке фактов в дебатах или беседе, поскольку участники могут часто использовать местоимения или возвращаться к более ранним пунктам. Более того, в то время как алгоритмы НЛП могут сопоставлять похожие версии утверждения, перефразирование представляет собой серьезную проблему, что затем приводит к компромиссу между точностью и полнотой: цена более точного обнаружения утверждений — неточные вердикты о утверждении6. Точно так же даже незначительные изменения в формулировке, времени или контексте утверждения могут сделать его более или менее обоснованным, но такое контекстуальное понимание не может быть достигнуто с помощью современных алгоритмов НЛП. Еще одна потенциальная проблема — возможность неточной или сомнительной проверки фактов в базе данных алгоритма. Это становится все более вероятным, учитывая увеличение числа независимых организаций по проверке фактов, что затем приводит к выбору между большей, но слабо регулируемой базой данных и меньшей, но более тщательно проверенной базой данных.

Кроме того, существуют также вопросы, касающиеся возможности реализации такой технологии. В настоящее время автоматическая проверка фактов предлагается только в рамках отдельных приложений или веб-сайтов. Однако, чтобы сделать технологию доступной для максимального количества людей, важно, чтобы крупные сети включали автоматическую проверку фактов в свои прямые трансляции. Это, однако, маловероятно из-за технических проблем, связанных с технологией, и потенциальной негативной реакции общественности на отображение чего-то неточного. Более того, сети знают о партийных предубеждениях, которые могут привести к тому, что зрители будут сомневаться в частоте проверки фактов конкретного кандидата, что приведет к потере аудитории для сетей. Другой потенциальной проблемой является ответственность, с которой могут столкнуться сети, если они будут отображать что-то ложное. Например, если конкретный кандидат неточно проверен фактами, они могут возложить на сеть ответственность за нанесенный репутационный ущерб.

Однако есть способы решить эти проблемы, приняв гибридную модель автоматизированной проверки фактов под наблюдением человека. Например, хотя алгоритмы НЛП могут быть не совсем точными при обнаружении заявлений и вынесении вердиктов, они могут предоставить наблюдателям список возможных вариантов, которые затем можно проверить и отобразить. Хотя это, вероятно, приведет к снижению скорости проверки фактов, она все же будет намного быстрее, чем ручная проверка каждого утверждения, а также добавит уровень человеческого контроля. Кроме того, может быть полезно количественно оценить достоверность конкретной проверки фактов, присвоив баллы лицу/организации, которые добавляют проверку фактов в базу данных. Это может сопровождаться регулярными проверками, которые затем регулируют базу данных, а также дают организациям стимул более тщательно проверять свои проверки фактов. Наконец, чтобы повысить доступность технологии, следует поэтапно отказаться от ее внедрения: постепенно объединяя ее с существующими механизмами проверки фактов, чтобы завоевать доверие зрителей, а также исправлять проблемы по мере их возникновения. Это, в сочетании с достижениями в алгоритмах NLP, может сделать автоматическую проверку фактов более надежной и осуществимой технологией.

Дополнительная литература:

  1. Юрковиц, Марк и Эми Митчелл. Американцы, которые в основном получают новости из социальных сетей, менее вовлечены и менее осведомлены. 27 августа 2020 г., www.journalism.org/2020/07/30/americans-who-mainly-get-their-news-on-social-media-are-less-engaged-less-knowledgeable/.
  2. Синелли, Маттео и др. Эффект эхо-камеры в социальных сетях. PNAS, Национальная академия наук, 2 марта 2021 г., www.pnas.org/content/118/9/e2023301118.
  3. Раух, Джонатан. Проверка фактов президента в режиме реального времени. The Atlantic, Atlantic Media Company, 6 мая 2019 г., www.theatlantic.com/magazine/archive/2019/06/fact-checking-donald-trump-ai/588028/.
  4. «Технология и проверка». Duke Reporters’ Lab, 15 февраля 2018 г., reporterslab.org/tech-and-check/.
  5. Хассан, Наимул и др. «Клеймбастер». Proceedings of the VLDB Endowment, vol. 10, нет. 12, 2017, стр. 1945–1948., doi: 10.14778/3137765.3137815.
  6. Грейвс, Лукас и Он. FACTSHEET: Понимание перспектив и ограничений автоматизированной проверки фактов. Отчет о цифровых новостях Института Рейтер, 1 июня 2020 г., www.digitalnewsreport.org/publications/2018/factsheet-understanding-promise-limits-automated-fact-checking/.
  7. Пресс, Ассошиэйтед. «Технологии рядом для проверки политических фактов на телевидении в режиме реального времени». Nationalpost, National Post, 18 января 2019 г., nationalpost.com/pmn/entertainment-pmn/technology-near-for-real-time-tv-politic-fact-checks.