Революция Web 2.0 привела к взрывному росту контента, который ежедневно создается в Интернете. Платформы для обмена в соцсетях, такие как Facebook, Twitter, Instagram и т. Д., Продемонстрировали поразительный рост числа активных пользователей в день, но были разделились, когда дело доходит до мониторинга контента, создаваемого их пользователями. Пользователи загружают неприемлемый контент, например изображение наготы, или используют ненормативную лексику, комментируя сообщения. Такое поведение приводит к социальным проблемам, таким как издевательства и порнография из мести, а также снижает аутентичность платформы. Однако скорость, с которой контент создается в Интернете сегодня, настолько высока, что практически невозможно отслеживать все вручную. На самом Facebook загружено всего 136 000 фотографий, размещено 510 000 комментариев и 293 000 статусов обновляются каждые 60 секунд. В ParallelDots мы решили эту проблему с помощью машинного обучения, создав алгоритм, который может с очень высокой точностью классифицировать обнаженные фотографии (обнаружение обнаженного тела) или оскорбительный контент.
В одном из наших предыдущих блогов мы обсуждали, как наши API-интерфейсы текстовой аналитики могут определять спам-аккаунты и аккаунты ботов в Твиттере и предотвращать их добавление какой-либо предвзятости в твиттер-анализ. Добавив еще один важный инструмент для модерации контента, мы выпустили два новых API - API обнаружения наготы и API классификатора злоупотреблений.
Классификатор обнаружения обнаженной натуры
Набор данных: фотографии обнаженного и не обнаженного тела были просканированы с разных интернет-сайтов для создания набора данных. Мы просканировали около 200000 изображений обнаженной натуры с различных форумов и веб-сайтов с изображениями обнаженной натуры, в то время как изображения людей, не являющиеся обнаженными, были взяты из Википедии. В результате мы смогли создать огромный набор данных для обучения классификатора обнаружения наготы.
Архитектура: мы выбрали архитектуру ResNet50 для классификатора, который был предложен Kaiming He et al в 2016 году. Набор данных, сканированный из Интернета, был случайным образом разделен на последовательность [80%], проверка [10%] ] и тестовый набор [10%]. Точность классификатора, обученного на наборе поездов, и гиперпараметра, настроенного на проверочном наборе, составляет немногим более 95%.
Классификатор оскорбительного содержания
Набор данных. Подобно классификатору обнаружения наготы, набор данных классификатора злоупотреблений был создан путем сбора оскорбительного содержания из Интернета, в частности из Twitter. Мы определили определенные хэштеги, связанные с ненормативной лексикой и ненормативной лексикой, и другие хэштеги, связанные с ненормативной лексикой. Эти твиты были дополнительно проверены вручную, чтобы убедиться, что они правильно классифицированы.
Архитектура. Мы использовали сети с долговременной краткосрочной памятью (LSTM) для обучения классификатора злоупотреблений. LSTM моделируют предложения как цепочку решений о забывчивости, основанную на контексте. Обучив его на данных Twitter, мы дали ему возможность понимать расплывчатые и плохо написанные твиты, полные смайлов и орфографических ошибок, и при этом понимать семантику контента и классифицировать его как оскорбительный.
Включение классификатора в работу: пример использования модерации контента
Классификаторы оскорбительного контента и обнаружения наготы являются мощными инструментами для фильтрации такого контента из каналов социальных сетей, форумов, приложений для обмена сообщениями и т. Д. Здесь мы обсуждаем некоторые варианты использования, в которых эти классификаторы могут быть задействованы.
Каналы пользовательского контента
Если у вас есть мобильное приложение или веб-сайт, на котором пользователи активно публикуют фотографии или комментарии, вы уже столкнетесь с трудностями, не допуская оскорбительного содержания или обнаженных изображений в ленте. Текущие передовые методы, позволяющие пользователям помечать такой контент, - это ненадежная и трудоемкая задача, для которой требуется группа модераторов, которая проверяет каждый помеченный контент и принимает соответствующие меры. Развертывание классификаторов Abuse и Nudity Detection в таких приложениях может сократить время отклика при обработке такого контента. Идеальным будет сценарий, при котором система помечает контент как неприемлемый и предупреждает одного из модераторов еще до того, как он попадет в общедоступный канал. Если модератор считает, что контент ошибочно классифицируется как «Обнаружение обнаженной натуры» или оскорбительный (ложное срабатывание), он может разрешить публикацию контента. Такая система модерации, дополненная машинами, может гарантировать, что ваши каналы не содержат неприемлемого контента, а репутация вашего бренда останется нетронутой.
Модерация форума
Одним из самых больших изобретений в Интернете стала возможность динамически создавать контент в форме мнений, комментариев, вопросов и ответов и т. Д. На форумах. Однако оборотной стороной этого является то, что эти форумы часто переполнены спамом и оскорбительным контентом, что приводит к таким проблемам, как издевательства. Скрываясь за стеной анонимности на многих из этих форумов, такой контент может иметь катастрофические последствия для подростков и студентов, часто приводя к суицидальным наклонностям. Использование классификатора злоупотреблений может помочь вам, владельцам форумов, модерировать контент и потенциально блокировать пользователей, которые повторно нарушают правила.
Модерация комментариев
Подобно модерации форума, можно использовать классификатор злоупотреблений, чтобы в разделе комментариев блога не было оскорбительного содержания. Все веб-сайты новостных СМИ в настоящее время изо всех сил стараются сохранить свой контент безопасным и свободным от злоупотреблений, поскольку они охватывают различные спорные темы, такие как иммиграция, терроризм, безработица и т. Д. Защита раздела комментариев от любого оскорбительного или оскорбительного контента является одним из важнейших приоритетов. каждого новостного издателя и классификатора злоупотреблений могут сыграть значительную роль в борьбе с этой угрозой.
Краудсорсинговые кампании цифрового маркетинга
Кампании цифрового маркетинга, основанные на краудсорсинговом контенте, оказались очень эффективной стратегией для стимулирования диалога между брендами и потребителями, как, например, конкурс Дорито «Crash the Super Bowl». Однако контент, загружаемый потребителями в рамках такого конкурса, должен тщательно контролироваться, чтобы защитить репутацию бренда. Ручная проверка каждого отправленного материала может быть утомительной задачей, и классификатор обнаружения обнаженного тела ParallelDots может использоваться для автоматической пометки содержания обнаженного и оскорбительного характера.
Фильтрация обнаженного контента в цифровой рекламе
Рекламные биржи приобрели популярность благодаря взрывному росту создания цифрового контента и остаются единственным источником монетизации для большинства блогов, форумов, мобильных приложений и т. Д. Однако обратная сторона этого состоит в том, что иногда на веб-сайтах может отображаться реклама крупных брендов. содержащие обнаженный контент, наносящий ущерб репутации их бренда. В одном из таких случаев реклама страхования фермеров размещалась на сайте под названием DrunkenStepfather.com во многом благодаря росту покупки рекламы на бирже. Слоган сайта - Нам нравится развлекаться с красивыми девушками - не подходит для показа объявлений о страховании фермеров.
Рекламные биржи и серверы могут интегрировать API классификатора обнаружения обнаженной натуры ParallelDots, чтобы идентифицировать издателей или рекламодателей изображений обнаженной натуры и ограничивать показ рекламы, прежде чем она выльется в пиар-кризис.
Как использовать классификатор обнаружения наготы?
Классификатор обнаружения обнаженности ParallelDots доступен в виде API для интеграции с существующими приложениями. API принимает фрагмент текста или изображения и помечает их как оскорбительный или голый контент соответственно в режиме реального времени. Попробуйте API обнаружения наготы прямо в браузере, загрузив картинку здесь. Также ознакомьтесь с демонстрацией классификатора оскорбительного содержания, которая доступна здесь. Погрузитесь в документацию по API для распознавания обнаженной натуры и классификатора оскорбительного контента или просмотрите репозиторий GitHub, чтобы начать работу с обертками API на любом языке по вашему выбору.
Оба классификатора вычисляют балл по шкале от 0 до 1 для переданного ему контента. Оценка 1 будет означать, что контент, скорее всего, является оскорбительным или обнаженным, а оценка, близкая к 0, означает, что контент безопасен для публикации.
ParallelDots AI APIs - это веб-сервис на базе Deep Learning от ParallelDots Inc, который может распознавать огромное количество неструктурированного текста и визуального контента для расширения возможностей ваших продуктов. Вы можете ознакомиться с некоторыми из наших API для анализа текста и API визуального интеллекта и связаться с нами, заполнив эту форму здесь или написать нам по адресу [email protected].
