Исследование определяет, проявляют ли системы анализа настроений неуместные человеческие предубеждения.

Актуальной проблемой в исследованиях машинного обучения (ML) является изучение того, дискриминируют ли автоматизированные алгоритмы гендерную или расовую принадлежность при принятии решений. В недавнем исследовании Кириченко и Мохаммад провели обширный анализ, чтобы определить, подчеркивают ли сотни систем анализа настроений неуместные человеческие предубеждения и как они проявляются.

Мотивация

Автоматические системы полезны для общества, но по мере того, как они улучшают прогностические характеристики, сравнимые с человеческими возможностями, они могут увековечить неуместные человеческие предубеждения. В контексте анализа настроений (SA) эти предубеждения могут принимать разные формы. Например, система SA может считать сообщения, передаваемые определенным полом или расой, менее позитивными просто из-за их расы и пола. Поэтому, даже когда неясно, как проявляются предубеждения, разработчик системы обработки естественного языка (NLP) обязан решить эту проблему.

Взносы

В НЛП источники систематической ошибки могут происходить из обучающих данных или языковых ресурсов, таких как лексиконы и вложения слов, которые алгоритм машинного обучения предназначен для использования при построении модели прогнозирования.

В области компьютерного зрения и НЛП было проведено множество работ, направленных на выявление этих несоответствующих предубеждений, но лишь немногие из них были сосредоточены на большом наборе систем, нацеленных на решение одной и той же задачи, что очень часто встречается в этой области. машинного обучения.

Авторы собрали и предложили набор контрольных данных для изучения неуместных предубеждений в системах анализа настроений, поскольку на момент исследования их не существовало. Затем 219 автоматических систем анализа настроений были исследованы на предмет несоответствующих предубеждений с использованием набора данных. Целью исследования было просто проверить, последовательно ли системы анализа настроений присваивают более высокие или более низкие оценки интенсивности настроений парам предложений, включающих определенную расу или пол.

Набор данных

Набор контрольных данных, получивший название Equity Evaluation Corpus (EEC), был составлен для проверки справедливости систем анализа настроений. Для создания набора данных использовалось несколько шаблонов предложений: 7 шаблонов эмоциональных предложений (включая слово, связанное с полом или расой + эмоциональное слово) и 4 шаблона нейтральных предложений (только слово, связанное с полом или расой). (См. 11 шаблонов в таблице ниже)

Заполнитель ‹person› был создан по именам афро-американцев или американцев европейского происхождения, например "Latisha" и "Ellen", и фразам-существительным, например "моя дочь" и "мой сын". '. В то время как заполнитель ‹слово эмоции› включал слово состояния эмоции с разной интенсивностью или слово эмоциональной ситуации. Всего с помощью различных комбинаций экземпляров было сгенерировано 8640 предложений. (Полный список словосочетаний, имен и слов эмоций см. В документе). Для каждого шаблона были созданы пары предложений, такие как «Разговор с моей мамой был душераздирающим» и «Разговор с моим отцом был душераздирающим». И цель анализа состояла в том, чтобы выяснить, есть ли значительная разница в баллах или средних баллах для этих пар предложений при подаче в системы SA.

Системы анализа настроений

219 систем автоматического анализа настроений, которые участвовали в SemEval-2018 Task 1: Affect in Tweets, были индивидуально оценены на предмет дискриминации по признаку пола и расы. Регрессия интенсивности эмоций для четырех эмоций (гнев, страх, радость и печаль) и выходы систем регрессии валентности были проанализированы на предмет расовой и гендерной предвзятости. Результатами были оценки от 0 до 1. Участникам был предоставлен набор данных о поездах, состоящий из твитов, вместе с двумя тестовыми наборами данных. Один из наборов тестовых данных включал твиты, а другой - набор данных EEC, по которому участникам не предоставили никакой дополнительной информации. По сути, первый набор тестов (твиты) использовался для оценки прогностической производительности систем, а EEC (неизвестный набор данных) использовался для предлагаемого анализа систематической ошибки.

Большинство систем сочетали вложения предложений или лексиконы эмоций с традиционными алгоритмами машинного обучения (SVM и логистическая регрессия) или глубокими нейронными сетями (например, LSTM и Bi-LSTM). Вложения были получены либо через корпус удаленного наблюдения, предварительно обученные модели, либо вручную обученные вложения. Лексиконы часто были взяты из лексиконов эмоций NRC и сантиментов. Базовая система SVM также была обучена с использованием словесных униграмм в качестве функций. Чтобы определить предвзятость по признаку пола и расы, сравнивались прогнозируемые баллы каждой системы или средний балл по соответствующим парам предложений, созданным с помощью шаблонов. Очень высокие различия в оценках указывают на более высокую систематическую ошибку систем.

Результаты гендерного предубеждения

В исследовании сообщается, что в четырех задачах прогнозирования интенсивности эмоций от 75% до 86% систем постоянно оценивали предложения одного пола выше, чем другого, даже когда все, что менялось, - это словосочетания существительных или имена в парах предложений. Этот феномен был более очевиден в эмоциях гнева и радости. Что касается эмоции страха, системы присвоили более высокие баллы предложениям с мужскими словосочетаниями-существительными. Печаль была более уравновешенной, чем остальные эмоции. Эти результаты соответствуют распространенным стереотипам, например, женщины более эмоциональны, а ситуации с участием мужчин - более пугающими.

Кроме того, 10 систем, показавших наилучшие результаты в первом тестовом наборе данных, показали некоторую чувствительность к словам, связанным с полом, в то время как системы со средней или низкой производительностью имели еще более высокую чувствительность к этим словам. Конкретно, системы с наивысшим рейтингом, которые хорошо справились с задачей прогнозирования интенсивности, представляют собой высокий процент систем с гендерными предубеждениями. Это вызывает вопросы о типах ресурсов, используемых для построения систем НЛП, и о том, какое влияние они оказывают на анализ систематической ошибки.

Результаты предвзятого отношения

Анализ предвзятости по признаку расы дал аналогичные результаты по сравнению с анализом смещения по признаку пола. Фактически, большинство систем присвоили более высокие баллы предложениям, содержащим афроамериканские имена, в задаче прогнозирования интенсивности эмоций для гнева, страха и печали . Напротив, большинство систем присваивали более высокие баллы предложениям, содержащим европейско-американские имена, в задаче прогнозирования интенсивности эмоций для радости. Эти результаты отражают стереотипы, обнаруженные в предыдущем исследовании, согласно которому афроамериканцы обычно связаны с более негативными эмоциями.

Будущее

В ходе будущей работы авторы продолжат исследование системы (и ее компонентов), чтобы определить точный источник выявленных систематических ошибок. Это может предоставить более конкретные доказательства для лучшего объяснения и подтверждения результатов. Кроме того, такое понимание может помочь в построении более точных систем и, что более важно, смягчить различные типы предубеждений, которые могут естественным образом возникнуть из-за ресурсов, обычно используемых в системах анализа настроений.

По результатам, полученным базовой системой, в которой использовался только набор обучающих данных, а не другие языковые ресурсы, также наблюдалась предвзятость в виде некоторых униграмм, сильно связанных с определенным полом или расой. Поскольку набор обучающих данных был собран с использованием подхода удаленного наблюдения, авторы подозревают, что это может быть серьезным источником систематической ошибки. В целом, в наблюдаемых системах расовая предвзятость была более распространена, чем гендерная предвзятость. Авторы сообщили, что интенсивность предвзятости также различалась для каждой из задействованных эмоций. В будущей работе будут рассмотрены другие расы, названия округов, профессии и пол.

(Обновление - 11.08.2018)

Запросы на исследование

  • Корпус EEC представляет только одну настройку для проверки справедливости систем анализа настроений. Это сложная задача, но было бы полезно, если бы в корпус можно было включить другие случаи неуместных предубеждений для экспериментов.
  • Краудсорсинг может помочь улучшить качество корпуса. Кроме того, вы также можете попробовать другие типы систем, помимо SA. Как насчет систем распознавания эмоций или систем распознавания эмодзи?
  • Целью этого исследования было только выяснить, не допускают ли системы анализа настроений неуместные человеческие предубеждения. Однако эту идею выявления предвзятости можно использовать для повышения точности систем или уменьшения предвзятости, как это было сделано. в других исследованиях.
  • Я считаю, что включение в анализ контекста (например, целых разговоров) и реальных данных, а не только синтетических данных, может помочь укрепить сделанные выводы и аргументы. На самом деле, из наборов данных можно сделать более интересные выводы.

Дайте мне знать, если вы хотите поработать над какой-либо из этих задач.

Ссылка: ACL 2018