Список ресурсов для всех, кто интересуется справедливостью, подотчетностью, этикой, социальной справедливостью, прозрачностью и/или объяснимостью применительно к науке о данных. На данный момент они в основном ориентированы на Yim, поэтому я с радостью приглашаю к сотрудничеству и редактированию!

Алгоритмический уклон

Идеи о справедливости и подотчетности крутятся в технической сфере. Из-за сочетания факторов все больше и больше людей обращают внимание на алгоритмическую предвзятость: когда в алгоритмы встраиваются предпочтения на основе обучающих данных или настроек модели, что приводит к дискриминации некоторых Население. Мы видим расовые различия в медицинских технологиях, расовую предвзятость в распознавании лиц, сексизм в Google Translate, расовую предвзятость в технологии уголовного правосудия, фэтфобию в Instagram, сексистское найм ИИ из Amazon и многое другое. чем мы можем даже отслеживать эти дни. Это лишь некоторые из крупных заголовков проблем, которые вызвали волну, но алгоритмическая предвзятость может быть встроена в, казалось бы, безобидное программное обеспечение. Мы обязаны критически относиться к тому, что входит и что выходит из наших алгоритмов.

Ускоренный курс словарного запаса

Для начала вам нужно знать несколько слов. Помните все те модные словечки, которые я буквально перечислил в начале этой статьи? Давайте проведем ускоренный курс (*обратите внимание, что эти определения в основном мои собственные и не являются определениями, а просто тем, что я усвоил, работая в этой области).

Справедливость.в этом исследовании Как работают определения справедливости?: Изучение общественного отношения к алгоритмическим определениям справедливости они спросили людей, что, по их мнению, означает алгоритмическая справедливость. Кажется, они сходятся на том, что они называют калиброванной справедливостью, что звучит как подход равенство важнее равенства. Другими словами, вероятности должны отдавать предпочтение людям пропорционально их заслугам — поскольку вероятность предоставления кому-либо ссуды должна быть пропорциональна их вероятности вернуть ее. Вне этого контекста, возможно, справедливость должна означать поддержку тех, кто больше всего нуждается в помощи, или не всегда полагаться на совершенно одинаковое разделение вещей, а вместо этого быть чувствительным к уже существующему неравенству и пытаться объяснить его?

Подотчетность. Вы можете прочитать этот замечательный учебник по теме Что такое алгоритмическая подотчетность? и изучите, как алгоритмы должны иметь возможность аудит, а затем роль обеспечения соблюдения правил и положений. Лично мне это напоминает работу Лаборатории технической политики в UW. Аудиты важны для социальных и правовых изменений, и все больше аудиторских исследований проливают свет на алгоритмическую предвзятость и другие проблемы, такие как Измерение дезинформации на платформах поиска видео: аудиторское исследование на YouTube.

Этика. Ознакомьтесь с Автостопом по этике ИИ, чтобы получить хороший обзор. В своих работах они подходят к таким важным идеям, как что такое ИИ, что делает ИИ, на что ИИ влияет и каким может быть ИИ.

Социальная справедливость. Вам не нужно быть борцом за социальную справедливость, чтобы включить социальную справедливость в свою практику или преподавание в области науки о данных. Я немного расскажу о том, как интегрировать социальную справедливость в класс Data Science в другой статье. Социальную справедливость можно определить как справедливость с точки зрения распределения богатства, возможностей и привилегий в обществе. Социальная справедливость охватывает множество тем, от того, кого и почему мы заключаем в тюрьму, до того, как мы обращаемся с инвалидами в обществе. Возможно, вы не сможете понять все области социальной справедливости. Я предлагаю вам выбрать один или два вопроса, которые вас действительно волнуют, и начать с них.

Прозрачность: доступ к подробной информации о внутренней работе ИИ. алгоритмов, используемых в мире. Мы сталкиваемся с парадоксом прозрачности, который заключается в том, что повышенная прозрачность может помочь нам выявить дискриминацию и предвзятость, но также подвергает нас повышенному риску и злоупотреблению». Эта статья посвящена парадоксу прозрачности.

Объяснимость. Насколько я понимаю, объяснимость не всегда связана только с объяснением того, как ИИ работает. алгоритмы работают (хотя это важно!). Иногда речь идет о том, чтобы понять, как алгоритмы пришли к тому, что они сделали, даже если мы не можем объяснить каждый шаг алгоритма. Модели машинного обучения обучаются, и иногда они сталкиваются со странными локальными минимумами или частями пространства гипотез, которые мы даже не могли себе представить, или используют корреляции в сотнях измерений, которые мы никогда не сможем понять. Поэтому нам нужны способы, с помощью которых наши алгоритмы могли бы самостоятельно сообщать о том, что они делают, и способы сообщать об этом заинтересованным сторонам моделей (во многих случаях при этом сохраняя конфиденциальность и анонимность). В этой статье немного рассказывается о том, как мы перешли от искусственного интеллекта, основанного на правилах (стеклянный ящик), к более неинтуитивным системам машинного обучения (черный ящик): От машинного обучения к объяснимому ИИ.

Это больше, чем просто алгоритмы, это весь конвейер

Весь конвейер данных вносит свой вклад в предвзятость, а не только то, как работают модели. Это означает изучение предвзятости на этапах, ведущих к моделям:

  • сбор данных — откуда вы их взяли? Как вы примеряли? Репрезентативна ли выборка? Кто отсутствует? Знали ли они, для чего он будет использоваться? Будут ли они давать разные ответы при разных обстоятельствах? Это что-то, что меняется со временем?
  • кодирование данных —какие категории? Кто их придумал? Насколько социальные определения влияют на то, как мы кодируем данные (например, пол)? Был ли это какой-то бедный старшекурсник, который первоначально закодировал эти данные? Им заплатили? Насколько это зависит от Механического Турка, также известного как Работники-призраки ИИ? Смогут ли люди из других культур согласиться с категориями? Должны ли мы позволять людям классифицировать себя или знать, как они сортируются? Должны ли мы вообще копаться в этой кроличьей норе?
  • хранение данных — у кого есть доступ? Как это анонимно? Он защищен? Это дорого? Подробнее читайте в статье Этика управления данными Penn State: хранение и защита данных.
  • с использованием данных —какие данные исключаются? Почему? Это из-за удобства? Малый размер выборки? Вы отбрасываете свои выбросы или оставляете их? Вы использовали правильную модель для этого типа данных? Вы провели соответствующие тесты, чтобы избежать p-hacking или множественных сравнений? Что вы используете, чтобы сделать или делать?

Статьи для чтения (пожалуйста, предложите больше!)

Абебе Р., Барокас С., Клейнберг Дж., Леви К., Рагхаван М. и Робинсон Д. Г. (2020 г., январь). Роль вычислений в социальных изменениях. В Материалы конференции по справедливости, подотчетности и прозрачности 2020 г. (стр. 252–260).

Алхатыб А. и Бернштейн М. (2019, май). Уличные алгоритмы: теория разрыва между политикой и решениями. В Материалы конференции CHI 2019 г. по человеческому фактору в вычислительных системах (стр. 1–13).

Амини А., Сулеймани А. П., Швартинг В., Бхатия С. Н. и Рус Д. (2019, январь). Выявление и смягчение алгоритмической предвзятости с помощью изученной скрытой структуры. В Материалы конференции AAAI/ACM 2019 года по искусственному интеллекту, этике и обществу (стр. 289–295).

Барбоза, Н. М., и Чен, М. (2019, май). Регуманизированный краудсорсинг: система маркировки, направленная на устранение предвзятости и этики в машинном обучении. В Материалы конференции CHI 2019 г. по человеческому фактору в вычислительных системах (стр. 1–12).

Бенджамин, Р. (2019). Гонка за технологиями: инструменты аболиционистов для нового кода Джима. Социальные силы.

«Боратто, Л., Фену, Г., и Маррас, М. (2019, апрель). Влияние алгоритмической предвзятости на рекомендательные системы для массовых открытых онлайн-курсов. В Европейской конференции по информационному поиску (стр. 457–472). Спрингер, Чем.

Бухер, Т. (2012). Хотите быть на вершине? Алгоритмическая сила и угроза невидимости на Facebook. Новые медиа и общество, 14(7), 1164–1180.

Картон, С., Мэй, К., и Резник, П. (2020, май). Объяснения, основанные на функциях, не помогают людям обнаруживать неправильные классификации онлайн-токсичности. В Материалы Международной конференции AAAI по Интернету и социальным сетям (том 14, стр. 95–106).

Чакраборти, А., Мессиас, Дж., Беневенуто, Ф., Гош, С., Гангули, Н., и Гуммади, К. (2017, май). Кто создает тренды? понимание демографических предубеждений в краудсорсинговых рекомендациях. В Материалы Международной конференции AAAI по Интернету и социальным сетям (Том 11, №1).

Дэнкс, Д., и Лондон, А. Дж. (2017, август). Алгоритмический уклон в автономных системах. В IJCAI (том 17, стр. 4691–4697).

Д'Игнацио, К., и Кляйн, Л.Ф. (2020). Феминизм данных. Мит Пресс.

Эдизель Б., Бончи Ф., Хаджиан С., Паниссон А. и Тасса Т. (2020). FaiRecSys: смягчение алгоритмической предвзятости в рекомендательных системах. International Journal of Data Science and Analytics, 9(2), 197–213.

Эслами, М., Ваккаро, К., Карахалиос, К., и Гамильтон, К. (2017, май). "Будь осторожен; все может быть хуже, чем кажется: Понимание предвзятых алгоритмов и поведения пользователей вокруг них на рейтинговых платформах. В Материалы Международной конференции AAAI по Интернету и социальным сетям (Том 11, №1)».

Гарсия, М. (2016). Расист в машине: тревожные последствия алгоритмической предвзятости. World Policy Journal, 33(4), 111–117.

Хаджиан, С., Бончи, Ф., и Кастильо, К. (2016, август). Алгоритмическая предвзятость: от обнаружения дискриминации до интеллектуального анализа данных с учетом справедливости. В Материалы 22-й международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных (стр. 2125–2126).

Гольштейн, К., Вортман Воан, Дж., Дауме III, Х., Дудик, М., и Уоллах, Х. (2019, май). Повышение справедливости в системах машинного обучения: что нужно отраслевым практикам? В Материалы конференции CHI 2019 по человеческому фактору в вычислительных системах (стр. 1–16).

Илиадис, А., и Руссо, Ф. (2016). Критические исследования данных: введение. Большие данные и общество, 3(2), 2053951716674238.

Джонсон, Г. М. (2020). Алгоритмическая предвзятость: о неявных предубеждениях социальных технологий. Синтез, 1–21.

Кингсли С., Ван К., Михаленко А., Синха П. и Кулкарни К. (2020). Аудит цифровых платформ на предмет дискриминации в рекламе экономических возможностей. препринт arXiv arXiv:2008.09656.

Ламбрехт, А., и Такер, К. (2019). Алгоритмический уклон? эмпирическое исследование очевидной дискриминации по признаку пола при отображении рекламы о карьере. Наука управления, 65(7), 2966–2981.

Обермейер, З., Пауэрс, Б., Фогели, К., и Муллайнатан, С. (2019). Анализ расовых предубеждений в алгоритме, используемом для управления здоровьем населения. Наука, 366(6464), 447–453.

Регистр Ю. и Ко А. Дж. (2020, август). Обучение машинному обучению с использованием персональных данных помогает заинтересованным сторонам обосновывать аргументы в защиту механики моделей. В Материалы конференции ACM 2020 по международным исследованиям в области компьютерного образования (стр. 67–78).

Смит-Реннер, А., Фан, Р., Берчфилд, М., Ву, Т., Бойд-Грабер, Дж., Велд, Д.С., и Финдлейтер, Л. (2020, апрель). Нет объяснимости без подотчетности: эмпирическое исследование объяснений и обратной связи в интерактивном мл. В Материалы конференции CHI 2020 по человеческому фактору в вычислительных системах (стр. 1–13).

Танвир, А., Болтен, Н., Дроухард, М., Гамильтон, Дж., Каспи, А., Фиоре-Гартланд, Б., и Тан, К. (2017). Картирование для доступности: тематическое исследование этики в науке о данных на благо общества. препринт arXiv arXiv:1710.06882.

Ашер, Н., Холкомб, Дж., и Литтман, Дж. (2018). Твиттер усугубляет ситуацию: политические журналисты, гендерные эхо-камеры и усиление гендерной предвзятости. Международный журнал прессы/политики, 23(3), 324–344.

Верните своему сообществу, вы не пожалеете об этом

Один из лучших способов поработать над своими навыками в этих областях ответственного искусственного интеллекта. заключается в работе с заинтересованными сторонами моделей. В академических кругах мы часто оказываемся в окружении других ученых. Это вполне нормально и имеет смысл, но также приводит к изолированным группам. До COVID я брал интервью у каждого водителя Uber, с которым ездил. Я спрашивал их о приложении, об алгоритмах, о зарплате, об их жизни. Что сработало, что нет? Я спрашиваю детей, как они относятся к своей рекламе в социальных сетях, я спрашиваю друзей, не являющихся учеными, о том, как, по их мнению, работают алгоритмы. Я прошу, я прошу, я прошу. Мне было трудно учиться; что у меня нет всех ответов (ни у кого нет). Но вместе мы можем выяснить, что не работает, что нужно людям, а также что нас волнует. По пути мы находим наши привязанности и наши увлечения. Я надеюсь, что каждый сможет принять участие в разговоре. Прямо сейчас я очень активно участвую в сообществах, направленных против диетического расстройства пищевого поведения, в онлайн-пространствах #actuallyautistic и с людьми, пережившими домашнее насилие.

  1. Делайте много докладов или много пишите о своих открытиях и идеях.
  2. Ненадолго прекратите говорить и писать, а начните спрашивать, читать и слушать.
  3. Найдите то, что вам небезразлично; что зажигает ваш огонь; что заставляет вас хотеть сделать мир лучше.
  4. Создайте сообщество вокруг этой страсти, желательно полностью за пределами научных кругов, если это уместно.
  5. Развивайте свои академические идеи, чтобы ответственно служить интересующим вас сообществам. Посмотрите, изменит ли это вас. Посмотрите, чему вы научитесь.

Не будьте слишком строги к себе

Особенно, впервые исследуя мир социальной справедливости, мы можем испытать много стыда за то, чего мы не знаем, или за ошибки, которые мы сделали в прошлом. Слишком часто этот страх и стыд приводят к апатии. Вместо того, чтобы ничего не делать, вы уже делаете первые шаги, чтобы стать частью ответственного ИИ. сообщество. Приготовьтесь отучиться от многих вещей! Думайте об этом как о новом приключении. Мы все постоянно учимся и разучиваемся, совершаем ошибки и не соглашаемся. Худшее, что вы можете сделать, — это «оставить это на кого-то другого», что обычно и происходит с критическими исследованиями данных (один профессор застревает на курсе «этика», а все остальные думают, что проблема решена). Это не означает, что вы должны входить без опыта и просто строить планы, но это означает, что даже если вы пытаетесь что-то изменить, это, вероятно, будет иметь значение. Отпустите стыд за то, что вы не пришли на вечеринку первыми, и будьте счастливы быть там сейчас. Вам здесь рады.