Эта статья является частью еженедельной серии резюме по ИИ. Узнайте больше в публикации на сайте nurture.ai или на официальном сайте nurture.ai.
Мотивация бумаги
Одной из распространенных проблем в задачах прогнозирования является усиление систематической ошибки, при которой систематическая ошибка изучается во время обучения и усиливается во время тестирования. Это вызывает беспокойство, когда предвзятость затрагивает такие классы, как пол и раса. Решение этой проблемы обсуждалось в статье 2017 года, где, по прогнозам, подавляющая часть женщин будет участвовать в кулинарии, несмотря на то, что присутствуют изображения мужчин, готовящих пищу. В документе было предложено решение, которое требует, чтобы гендерное распределение в наборе обучающих данных было равным таковому в наборе тестовых данных. Это непрактично, так как можно не контролировать тестовые данные.
Взгляд на бумагу
В этой статье основное внимание уделяется гендерным предубеждениям в задачах создания подписей к изображениям, когда входные изображения состоят из человека и сопровождающих его объектов. Авторы считают, что генераторы подписей к изображениям должны предсказывать гендерно-зависимые слова, такие как «мужчина» или «женщина», на основе внешности человека, а не сопутствующих объектов изображения.
Как проницательность была использована
Авторы представляют модель эквалайзера, которая добавляет два дополнительных члена потерь к существующей модели подписи к изображениям, называемой Показать и рассказать. Добавлены термины потерь: уверенная потеря (Conf) и потеря из-за путаницы внешнего вида (ACL). Первый помогает повысить уверенность модели, когда пол человека очевиден на изображении. Последнее способствует путанице в модели, когда пол человека скрывается, и выбирает нейтральные с гендерной точки зрения термины.
Результаты
Приведенные ниже модели обучаются на изображениях, содержащих людей, и сравниваются по частоте их ошибок при описании мужчин или женщин на тестовых изображениях.
(1) Эквалайзер со стандартной кросс-энтропийной потерей, Conf и ACL;
(2) Эквалайзер без конф;
(3) Эквалайзер без ACL;
(4) Тонко настроенная модель Show and Tell (базовая модель);
(5) Базовая модель, обученная на равных пропорциях изображений женщин и мужчин; < br /> (6) Базовая модель, в которой функция потерь умножена на постоянный коэффициент.
Первая модель показала самый низкий уровень ошибок во время тестирования. Кроме того, его прогнозируемое соотношение полов наиболее похоже на правду.
Авторы этой статьи также использовали метод Grad-CAM, чтобы определить, какие части изображения больше всего способствовали генерации гендерно-зависимых слов. Было обнаружено, что эквалайзер имеет тенденцию фокусироваться на внешности человека, а не на контекстной информации при прогнозировании пола. Это означает, что эквалайзер «правильный по правильным причинам».
Отраслевые последствия
Такие модели, как эквалайзер, повышают точность задач по добавлению подписей к изображениям, а также помогают устранить гендерные стереотипы, которым подсознательно подчиняются люди. В конечном итоге это способствует созданию будущего, поддерживающего разнообразие, инклюзивность и равенство.
Вопросы остались открытыми
Авторы этой статьи утверждают, что эквалайзер достаточно универсален, чтобы его можно было использовать в альтернативных средах. Возникает вопрос, можно ли расширить эквалайзер для устранения этнических предубеждений. Кроме того, если эквалайзер можно адаптировать к рекомендательным системам, как его следует разрабатывать, чтобы избежать предвзятости при рекомендации продуктов? Что еще важнее, будет ли это выгодно?
Вопросы, наводящие на размышления
- Исследования показали, что люди от природы склонны к расовым и гендерным предрассудкам. Станем ли мы меньше, если успешно создадим модели, свободные от предрассудков?
- Наборы данных легко подвержены искажениям. Например, коллекция изображений, изображающих программистов, может иметь подавляющую часть мужчин. Следует ли нам стремиться сбалансировать гендерные пропорции в этих наборах данных или создавать модели, менее подверженные гендерным предубеждениям?
- Приемлемо ли создавать модели, определяющие пол человека на основании цвета или типа его одежды? Изменится ли ваше мнение, если такие выводы повысят точность прогнозов модели?
- В документе упоминается, что некоторые описания обучающих образов, написанные людьми, уже содержат гендерную предвзятость. Например, люди-комментаторы описывали изображения человека в костюме сноуборда как человека, хотя лицо человека было затемнено. Неужели человеческие стереотипы виноваты в создании гендерно предвзятых моделей?
Читайте полный текст статьи здесь.
Хотите узнать больше? Перейдите на сайт nurture.ai, чтобы просмотреть больше еженедельных сводок статей и обсудить интересный вопрос, оставленный открытым в газете здесь.
Роуэн - научный сотрудник Nurture.ai. Она считает, что препятствием для понимания мощных знаний является замысловатый язык и чрезмерное использование жаргонов. Ее цель - разбить сложные концепции, чтобы их можно было легко усвоить.
