Выявление детей-хищников и токсичного поведения с помощью обработки естественного языка

«Не разговаривай с незнакомцами». Детям, которые слышали это 30 лет назад, было легко увидеть, кого они знают, а кого нет. Теперь с большим количеством электронных устройств, гибкостью онлайн-коммуникаций и высоким уровнем потребления цифровых медиа, Интернет дал возможность доступа и анонимность любому в любом месте. Одно имя пользователя может представлять несколько людей за экранами, которые кардинально отличается от того, что они описывают. И по мере того, как возможности переходят в Интернет, следите за незаконной деятельностью. Многие дети, ставшие жертвами этих преступлений, часто сталкиваются с серьезным психическим, социальным и физическим ущербом.

Правительства, компании и сообщества должны активно предотвращать опасное поведение в Интернете, и 4D Sight надеется внести свой вклад в это движение.

Риски для детей в Интернете возросли: о потоковых, игровых и социальных платформах много сообщений

Ключевая информация:

  • Материалы сексуального насилия над детьми (CSAM) - это любые материалы откровенного сексуального характера с участием несовершеннолетних.
  • Распространение CSAM резко выросло за последние несколько лет, причем в большинстве случаев жертвами становятся дети препубертатного.
  • Snapchat, Facebook, Twitter, Twitch, игровые сайты - частые места ухода за собой или манипулирования детьми с целью инициирования злоупотреблений.
  • Thorn - организация, которая находится в авангарде разработки новых продуктов для выявления сексуальной эксплуатации детей и ее пресечения.

Всего за 2018 год в Интернете было распространено более 45 миллионов видео и изображений, представляющих материалы сексуального насилия над детьми (CSAM), что примерно вдвое больше, чем в 2017 году, и более чем в 100 000 раз больше, чем в 2001 году. CSAM включает в себя детскую порнографию и любые материалы сексуального характера. материалы с участием лиц младше 18 лет. По данным исследования 2018 Internet Watch Foundation, 98% жертв составляли дети в возрасте 13 лет и младше. В связи с тем, что недавние условия COVID-19 сделали Интернет новой нормой, Национальный центр пропавших без вести и эксплуатируемых детей (NCMEC) сообщил о 106% -ном увеличении данных об эксплуатации в марте месяце по сравнению с прошлым годом.

Нет сомнений в том, что эта проблема вызывает растущее беспокойство, требующее ответственности от компаний, платформы которых используются для инициирования и распространения CSAM.

Для индустрии стриминга и игр наличие чатов, голосовых звонков и прямых трансляций значительно облегчило хищникам возможность установить контакт с маленькими детьми и направить их к совершению несоответствующих действий в режиме реального времени с минимальным цифровым отслеживанием. Называемые ухаживанием, преступники укрепляют доверие и снижают чувствительность своих жертв к жестокому обращению, часто приглашая детей на встречи в автономном режиме или в других приложениях, где затем создается и распространяется CSAM. В онлайн-сообществах издевательства и агрессия часто используются в тандеме для того, чтобы пригрозить жертвам подчиниться. Национальное общество по предотвращению жестокого обращения с детьми Великобритании (NSPCC) обнаружило, что Twitter и Twitch были вторыми по популярности сайтами для груминга после Snapchat и Facebook. Неэффективное подтверждение возраста и широкие возможности обмена видео открыли Twitch для токсичного поведения, в то время как в популярных играх, таких как Minecraft, Fortnite и Roblox, были свои случаи злоупотреблений (щелкните вышеупомянутые ссылки для примеров). Тем не менее, многие другие дела остаются необоснованными, а виновные остаются безнаказанными.

Чтобы решить проблему идентификации, Thorn: Digital Defenders of Children, неправительственная организация, которая использует технологические подходы для борьбы с сексуальной эксплуатацией детей, взяла на себя создание решений для правоохранительных органов и компаний, занимающихся онлайн-платформами. Их нововведения сократили время поиска правоохранительными органами на 60% за счет растущей базы данных изображений и видео, помеченных / отпечатанных пальцами посредством цепочек чисел, называемых хешами.

Вдохновленная усилиями Thorn, 4D Sight осознает необходимость действовать и создавать технологии для выявления преступников и обеспечения безопасности детей, особенно при работе с потоковой / игровой экосистемой.

Меры по предотвращению: 4D Sight выявляет токсичное поведение в журналах чата с помощью НЛП

Технологические компании несут социальную, моральную и личную ответственность за то, чтобы миллионы детей, которые сталкиваются с их платформами, были защищены от злоумышленников, скрывающихся в сети. Компания глубокой рекламы 4D Sight серьезно относится к этому, поскольку мы разрабатываем новые продукты, предлагающие как безопасность, так и функциональность.

Помимо предоставления рекламы, которая сочетается с потоковой передачей и игровой средой, 4D Sight также производит инструменты анализа чатов с обработкой естественного языка (NLP), которые позволяют получить представление о настроениях и вовлеченности аудитории. Возможность анализировать взаимодействие аудитории и стримеров также позволяет выявлять токсичное поведение и упрощать устранение угроз. Те, кто использует технологию 4D Sight, могут активно обеспечивать безопасность детей в повседневных операциях, создавая еще один защитный барьер для детей.

В настоящее время мы разрабатываем инструмент НЛП, который выявляет несоответствующее поведение, характерное для обработки и распространения CSAM. Наш предварительный анализ для сбора данных основан на журналах чата Twitch и может быть разбит на 3 основных этапа:

  1. Выполните поиск по ключевым фразам, включающим команды для перехода в приватные чаты, а также по запросам личных данных, таких как возраст, пол и местоположение.
  2. Отслеживание имени отправителя, выявление последовательных сообщений и содержания, касающихся недопустимых действий в других потоках или чатах.
  3. Определите биографию отправителя и получателя с помощью общедоступной истории, чтобы подтвердить или опровергнуть хищнические намерения.

После создания базы данных общих фраз и взаимодействий, помеченных как уход, мы можем затем использовать модель НЛП, чтобы предсказать, имеет ли онлайн-взаимодействие высокую вероятность того, что оно приведет к токсическому поведению или приведет к нему, и уведомить соответствующие органы. Хотя идентификационные данные в Интернете сложно отследить и еще сложнее подтвердить из-за стираемых и закодированных методов связи, мы надеемся, что благодаря предоставлению оценочного инструмента онлайн-сообщества станут безопаснее для пользователей всех возрастов.

Помимо текущих усилий, важно, чтобы все мы осознавали, что это проблема, в решении которой каждый должен принять участие.

Ресурсы и следующие шаги: что каждый может сделать, чтобы помочь

Глобальный стратегический ответ на сексуальную эксплуатацию детей в Интернете, WePROTECT
Эта инфографика, разбитая по секторам, отображает действия и указания, которые люди любого происхождения могут сделать, чтобы внести свой вклад . WePROTECT также предлагает дополнительную информацию о безопасности детей в условиях COVID-19 и соответствующие ресурсы.

Национальный центр пропавших без вести и эксплуатируемых детей, NCMEC
Подробнее о ресурсах по безопасности детей. CyberTipline позволяет государственным и электронным поставщикам услуг сообщать о предполагаемой сексуальной эксплуатации.

Международный центр пропавших без вести и эксплуатируемых детей ICMEC
Образовательный портал, Исследовательская библиотека и ресурсы Терминология.

Дополнительные полезные материалы: