Какой властью обладают специалисты по данным и каковы этические последствия?

Сейчас уже стало клише - упоминать, насколько алгоритмы предвзяты (хотя, точнее сказать, данные обучения предвзяты), или как ИИ можно использовать для систематической дискриминации определенных групп или классов людей (через « redlining , например). Некоторые недавние примечательные примеры включают своего рода манифест бывшего директора медиа-лаборатории Джойчи Ито Массачусетского технологического института Сопротивление сокращению, в котором исследуются этические проблемы, присущие социальным приложениям ИИ и машинного обучения.

Точно так же компьютерный ученый Джой Буоламвини и Тимнит Гебру (также из Массачусетского технологического института) опубликовали Гендерные оттенки: межсекторные различия в точности в коммерческой гендерной классификации, в которых исследовали различия в точности систем распознавания лиц для интерсекциональных групп, таких как темнокожие женщины. .

Это отличные примеры того, как наличие множества голосов может способствовать более эффективному и справедливому использованию ИИ, а также более эффективному функционированию демократии. Джон Дьюи нажал бы на этом кнопку «Нравится».

Но я все еще чувствую, что есть пробел в общей академической и популярной дискуссии об этическом искусственном интеллекте / машинном обучении и, в частности, этике науки о данных. Слишком часто в этом обсуждении акцент делается на технологии, а не на людях, создающих, поддерживающих и использующих их. Нам необходимо изучить роль специалиста по обработке данных в обществе и моральные обязанности, вытекающие из этой роли, особенно в многонациональной корпоративной среде, где физические границы не применяются, но действуют Общие правила защиты данных.

Новая парадигма ответственности: активистская наука о данных

Нам нужна доза того, что Karwat et al. (2015) называют инженером-активистом. Я имею в виду нечто подобное: активистская наука о данных. Вот первая попытка изложить основные принципы активной науки о данных:

Специалисты по анализу данных достаточно мудры и скромны, чтобы знать, когда инструменты и методы науки о данных не могут в одиночку решить стоящие перед ними проблемы. Специалисты по данным-активистам понимают, когда для решения проблемы необходимы другие средства, такие как социальные или политические действия, такие как «предвзятость» в AI / ML. Ученые-активисты понимают, что они не работают и не живут одни, независимо от более широкого социального сообщества и политической системы со своими собственными традициями и историей, из которых различные социальные практики берут свое значение. Ученые-активисты напоминают себе, что они не являются независимо и одинаково распределенными точками данных, а скорее похожи на покрытые плотью, расположенные и сознательные узлы в сложной взаимосвязанной сети правовых, социальных, культурных, экономических и моральных убеждений и практик. , сами потенциально подвержены влиянию самой науки о данных и формируются через нее.

Следовательно, специалисты по данным-активистам серьезно и сознательно относятся к своим ролям и связанным с ними ожиданиям, нормам и обязанностям в этой сети при выполнении своей работы. Они понимают, что то, что «есть» в настоящее время, грозит остаться таковым, если не столкнуться с «должностью» нашего коллективного морального воображения.

Если вас интересует различие между обязательными и их ролью в науке о данных, возможно, вам стоит почитать мой другой пост Алгоритмическая несправедливость и различие между фактами и ценностями. В любом случае, перейдем к основной теме этого поста. Мне придется развить эту идею активистской науки о данных в другом посте.

Давайте сосредоточимся на людях, а не на технологиях

Удивительно, но практически не проводилось исследований коллективной власти ученых, работающих с данными в нашем цифровом обществе, и этических последствий такой власти.

Обратите внимание, как я сформулировал приведенное выше утверждение. Я не говорил, что у алгоритмов есть сила. Я сказал, что это есть у специалистов по данным. Специалисты по обработке данных - это моральные агенты, ответственные за принятие решений, а мы, пользователи глобальных интернет-платформ, являемся их моральными пациентами. Но какие права мы имеем как пациенты-моралисты и какие обязанности, как моральные агенты, есть у специалистов по данным по отношению к нам? Это то, над чем нам нужно работать. Частично это потребует определения масштабов и масштабов власти, которой обладают специалисты по данным по всему миру.

Разновидности ответственности

Понятие ответственности философски непросто. Прежде всего, мы можем различать причинную ответственность и моральную ответственность. Причинная ответственность подразумевает, что ваши действия были близки по времени к какому-либо (отрицательному) эффекту. С юридической точки зрения мы называем это «непосредственной причиной» при решении вопросов об ответственности. Возможно, вы разместили в репозитории Github какой-то код для алгоритма классификации найма, который, например, был передан команде других специалистов по данным в вашей компании. Затем ваш код способствовал гендерной дискриминации, когда он в конечном итоге был запущен в производство. Ваш запуск этого кода причинно ответственен за этот результат. Это дополнительное юридическое определение того, были ли ваши действия на самом деле непосредственной причиной этого эффекта. Скорее всего, нет.

Моральная ответственность - это другой, но похожий вопрос. Моральная ответственность влечет за собой порицание. Мы можем нести причинную ответственность в указанном выше смысле, но не виноваты в каких-то действиях. Например, ваш босс приставил пистолет к вашей голове и сказал, чтобы вы выполнили обновление этой функции или что-то еще. Здесь мы не можем обвинять вас в этом, хотя, строго говоря, вы несете причинную ответственность (в некоторой степени) за причиненный вред. Как вы, наверное, уже догадались, вопросы свободы воли определяют вопрос о виновности. На практике различие между причинной и моральной ответственностью размыто из-за социального и политического давления, которое диктует приписывание ответственности. В повседневном языке мы склонны объединять эти два смысла. Цена, которую мы платим за это, - моральная неразбериха.

Тем не менее, мы являемся активистами в области анализа данных и не боимся неопределенности или сложности. Вместо того, чтобы отворачиваться от таких вопросов, мы решаем их прямо и участвуем в дебатах и ​​размышлениях.

Сосредоточение внимания на подотчетности алгоритмов - это категориальная ошибка, как, например, высказывание «у этой еды прекрасный вкус» или «у компьютеров есть чувства». Обвинять алгоритм в «предвзятом ИИ» - все равно что винить свой журнальный столик, когда я ушибаю ногу одной из его чрезвычайно наклонных и скрытых ножек. Мой журнальный столик не сидел там, где стоит в гостиной; Я выбрал. В случае прикладной науки о данных некий человек решил собрать эти данные, измерить их таким образом, агрегировать, очистить и каким-то образом уменьшить размерность. Некий человек выбрал модели XYZ для сравнения с помощью перекрестной проверки. Хорошая подготовка в области науки о данных предполагает умение делать правильный выбор в области науки о данных . И, как я пытался проиллюстрировать выше, свободный выбор подразумевает (моральную) ответственность.

Автоматизированное машинное обучение и моральный аутсорсинг

Даже в случае так называемых автоматизированных решений машинного обучения можно выбрать не выбирать, что само по себе является выбором . И обычно плохой. Извините, Amazon, Google и Microsoft. Если вы контролер данных и не понимаете, как работает машинное обучение, вам, вероятно, не следует использовать его в своем бизнесе. Фактически, если вы не понимаете, как это работает, я могу почти гарантировать вам, что яркий молодой специалист по физике, копия MS Excel и две недели обучающих программ на Youtube по vlookups и макросам дадут вам 99% пути. там.

Чтобы было ясно, использование автоматизированного машинного обучения, когда входные данные не являются личными данными (согласно определению GDPR), не обязательно является проблематичным с моральной точки зрения. Но если ваш бизнес полагается на сбор и обработку персональных данных, то ответственность за объяснение необходимости автоматизированного решения ложится на вас, как на контролера данных. Обратите внимание, что GDPR прямо решает эту проблему - она ​​называется автоматическое индивидуальное принятие решений (или профилирование) - и предоставляет субъектам данных явные права на отказ (см. Статью 22, ссылка на которую приведена выше).

Мы не можем передать моральную ответственность машинам, поскольку, проследив причинно-следственную цепочку достаточно далеко назад, мы рано или поздно обнаружим человека, принимающего решение. В этот момент мы должны спросить, мог ли человек поступить иначе. В противном случае они несут лишь причинную ответственность . Если это так, они заслуживают порицания с моральной точки зрения . Ясно одно:

Нельзя использовать оправдание «черного ящика», чтобы избежать вопросов моральной ответственности.

См. Статью Рудина (2019): Прекратите объяснять модели машинного обучения черного ящика для принятия серьезных решений и используйте вместо них интерпретируемые модели. Решение использовать в первую очередь алгоритм черного ящика в первую очередь подлежит моральному суждению. Какого рода моральное исчисление можно было бы выполнить, чтобы в результате, например, поверили, что точность важнее объяснимости? Вместо этого нам следует сосредоточить дебаты на подотчетности лиц, пишущих и внедряющих алгоритмы, а не на самих битах и ​​байтах.

Нам нужна новая этика сложных сетей и масштабов

К этому моменту недооцененный немецко-американский философ технологий Ганс Йонас написал в своей книге Das Prinzip Verantwortung 1979 года, что все ранее разработанные этические системы нуждаются в обновлении, поскольку они ошибочно предполагают die Reichweite menschlichen Handelns und daher menschlicher Verantwortung ist eng umgeschrieben . [Перевод: степень человеческой деятельности и, следовательно, человеческая ответственность может быть определена в узком смысле] .

Позиция Йонаса состоит в том, что традиционные подходы к этике, обычно основанные на утилитарных или деонтологических (агентных) соображениях, развивались в совершенно иных социальных условиях. В век информации небольшие местные причины могут иметь глобальные последствия, как мы видели на примере пандемии COVID-19. Дезинформация может очень быстро распространяться по миру. Работа специалиста по данным в Индии может повлиять на сотни миллионов субъектов данных в Европе или Америке.

Итак, вслед за Йонасом, я думаю, что пришло время пересмотреть этику. Мы должны разработать этику науки о данных, которая могла бы служить руководством к действию в тех случаях, когда, например, алгоритмы классификации на таких платформах, как Amazon, Facebook или Google, могут повлиять на онлайн-опыт потенциально миллиардов людей со всего мира . Мы уже убедились в моральной важности масштаба в эксперименте по распространению эмоционального заражения от Facebook, который был опубликован вместе с редакционным выражением озабоченности в Proceedings of Национальная академия наук (PNAS). Короче говоря, пришло время переосмыслить этику в эпоху цифровых сетей и капитализма слежки.

Стихотворение Джона Донна 1623 года Медитация 17 весьма трогательно передает это чувство (и дало название одной из величайших книг Хемингуэя):

Ни один человек не является островом, сам по себе; каждый человек - это частичка континента, часть главного. Если морем смыло комок земли, Европа потеряла бы всякий смысл, как если бы был мыс, как если бы поместье твоего друга или твое собственное поместье. Смерть любого человека унижает меня, потому что я причастен к человечеству; и поэтому никогда не посылайте знать, по кому звонит колокол; это звонит тебе.

Что такое сила?

В этом коротком отрывке я не хочу сосредотачиваться на очевидных формах силы, включающих физическую силу или насилие. Как отмечает Мишель Фуко в своей книге Дисциплина и наказание, в средневековой Европе преступления считались личным оскорблением власти короля. Тело преступника фактически являлось собственностью короны, и его можно было нарисовать, разделить на четыре части, взломать и развернуть на общественной эшафоте. Король владел телом преступника. Это репрессивная сила.

Это не та сила, которой обладают специалисты по данным. Большинство из них по закону приятные, скромные люди, которые беспокоятся о том, чтобы оказать положительное влияние и внести свой вклад в социальную справедливость. Это не столько проблема плохих намерений, сколько проблема несогласованности стимулов: задавать слишком много вопросов плохо для вашей безопасности. Черт возьми, даже маститый статистик Р.А. Фишер пошел к своему смертному одру, защищая табачные компании от обвинений в том, что курение вызывает рак: ¹

«К сожалению, сейчас ведется активная пропаганда, чтобы убедить общественность в том, что курение сигарет опасно… возможно, естественно, что следует предпринять усилия для дискредитации свидетельств, которые предполагают иную точку зрения».

Нет, власть ученых, занимающихся данными, больше похожа на невидимую силу, которую Фуко уловил в своей концепции дискурса. Это невидимая сила, потому что большинство обычных пользователей Amazon, Google или Facebook (фактически, никто из тех, кто когда-либо читал этот блог) не имеют представления о том, как работают алгоритмы или даже чем занимаются специалисты по данным. Я могу окончательно заявить, что это верно, по крайней мере, для моей мамы, и, вероятно, для вашей тоже. Но то, что дискурс нематериален и невидим, не означает, что его эффекты также невидимы. Эффект дискурса может быть очень реальным. Обратная сторона этой невидимости означает, что только те специалисты по данным, которые настроены на нее, могут ее увидеть и что-то с этим сделать.

Власть как дискурс

Согласно анализу Фуко, власть не является собственностью ее носителя, а, напротив, отражает нематериальные социальные отношения между отдельными людьми или группами. Для Фуко дискурс был набором (неявных) правил, устанавливающих нормы классификации и категоризации знания. В этом смысле дискурс определяет и устанавливает правила оценки отношений между объектами. Это своего рода власть решать и определять, что считать? Кто отмечен как нормальный, а кто - как сумасшедший? Эти социальные ярлыки важны, потому что они определяют, кого отправят в психиатрическую больницу (душевнобольных), а кого приговорят к смертной казни (убийцы). Сегодня эти ярлыки определяют, кто получит какую услугу или какой продукт, по какой цене и в какой конфигурации взаимодействия с пользователем.

Понимание Фуко заключалось в признании того, что часть того, что значит обладать властью, - это способность давать ярлыки людям и объектам, а затем на основе этих ярлыков обращаться с ними в соответствии с определенными нормами. Фуко отметил, что мы все больше полагаемся на руководство «экспертов», чтобы диктовать эти нормы и определять, что является нормальным, а что - отклоняющимся. Он беспокоился, что люди - объекты таких ярлыков и классификаций - в таком обществе могут в конечном итоге усвоить такие ярлыки, чтобы фактически подавить себя. Именно в этот момент, когда властные отношения становятся полностью интернализированными, эта власть действительно достигает своего зенита. Именно тогда, когда сила наиболее невидима, она наиболее сильна. Это наблюдение имеет прямое отношение к работе специалистов по данным.

Надеюсь, теперь вы видите, как эта концепция власти может соотноситься с обычной работой специалистов по данным по кластеризации, классификации и сегментации субъектов данных на основе их личных данных. Мы перешли от буквального выражения силы посредством телесных наказаний (репрессивная сила) к использованию силы тела - в форме поведенческих больших данных - для определения терминов дискурса и определения того, что является нормальным, а что - отклоняющимся, и используем их. классификации для некоторых экономических целей (то, что Фуко называет производительной силой или биоэнергетикой). В то же время большая часть человеческого топлива (BBD), которое управляет этим процессом, блаженно не ведает о том, что происходит.

Научный дискурс и состояние постмодерна

Каким-то образом французские философы осознавали, насколько мощными могут быть технологии как своего рода дискурс, даже в 1970-х годах. Возможно, это произошло из-за явно французского изобретения Minitel, предшественника Всемирной паутины. В 1979 году, например, Жан-Франсуа Лиотар опубликовал Состояние постмодерна, в котором написал следующее:

«Научное знание - это своего рода дискурс. И будет справедливо сказать, что последние сорок лет «ведущие» науки и технологии были связаны с языком: фонология и теории лингвистики, проблемы коммуникации и кибернетики, современные теории алгебры и информатики, компьютеры и их языки, проблемы перевода и поиска областей совместимости между компьютерными языками, проблемы хранения информации и банков данных, телематика и совершенствование интеллектуальных терминалов, парадоксология ».

Если вам интересно, парадоксология - это изучение очевидных парадоксов, которые, тем не менее, имеют истинную ценность. Теорема Гёделя о неполноте - яркий тому пример. Во всяком случае, общая мысль Лиотара заключается в том, что, в отличие от современной индустриальной эпохи, в эпоху постмодерна, знания теперь являются «основной производительной силой». Я бы также добавил, что в эпоху постмодерна власть - в форме дискурса - является функцией масштаба глобальных информационных сетей.

Не требуется большого логического скачка, чтобы понять, что знания, которыми обладают специалисты по данным, принимают форму огромных объемов поведенческих больших данных (BBD), которые подпитывают алгоритмы машинного обучения технологических компаний Большой четверки.

Power Over или Power To?

Прежде чем идти дальше, нам, возможно, следует остановиться и уточнить основные положения нашего обсуждения. Суть споров вокруг власти заключается в том, следует ли рассматривать ее как власть над или власть над. Что я имею в виду?

Я имею в виду, следует ли понимать власть как: 1) что-то, что существует только тогда, когда оно реализовано физически или социально - власть над; или 2) то, что существует независимо от того, переживается это субъективно или физически - сила. Другими словами, это что-то, что нужно тренировать, чтобы существовать (т. Е. Является ли это перформативным?), или это больше похоже на скрытую способность (т. Е. Существующую независимо от того, испытывал ли кто-либо ее когда-либо). )?

Еще одна осложняющая проблема, связанная с властью, заключается в том, что сами наши представления о ней могут быть сформированы нашими теоретическими и политическими предположениями. По иронии судьбы, как уже давно указывали Маркс, Ницше и другие, акт формулирования идей о власти и властных отношениях сам может быть сформирован властными отношениями, действующими в настоящее время в нашем обществе, как своего рода дискурс Фуко. Возможно, нам не удастся избежать лингвистических и концептуальных ограничений дискурса.

Попытка определить силу

Вот краткий сборник влиятельных определений власти, взятых из важной книги социолога Стивена Люка Власть: радикальный взгляд. Некоторые определения понимают это понятие как власть над, в то время как другие рассматривают его скорее как власть. Выберите то, что кажется наиболее подходящим к тому типу ученых, которые занимаются данными о власти. Нам нужно где-то начать дискуссию.

Стивен Льюкс:

«[Сила] - это возможность, а не действительность - на самом деле возможность, которая никогда не может быть реализована».

Ханна Питкин:

«[Сила] - это что-то… что делает кого-то способным, способным что-то делать. Сила - это способность, потенциал, способность или необходимые средства ».

Роберт Даль:

«A имеет власть над B в той мере, в какой он может заставить B сделать то, что B иначе бы не сделал».

Мишель Фуко:

«Если мы говорим о структурах или механизме власти, это лишь постольку, поскольку мы предполагаем, что одни люди обладают властью над другими».

Макс Вебер:

«[Власть] - это вероятность того, что один из участников социальных отношений сможет выполнять свою волю, несмотря на сопротивление…»

Ханна Арендт:

«[Сила] соответствует способности человека не просто действовать, но действовать согласованно. Власть никогда не является собственностью отдельного человека; он принадлежит к группе и существует только до тех пор, пока группа держится вместе ».

Бертран Рассел:

«[Сила] - это создание желаемых эффектов».

Я продолжу этот пост во второй части. В этом посте я рассмотрю некоторые из приведенных выше определений и рассмотрю конкретную формулировку мощности, предназначенную для отражения роли современного специалиста по данным. Наконец, мы исследуем условия (коллективной) ответственности моральных агентов.

Теперь,

Какая из этих формулировок подходит для роли специалиста по данным в одной из компаний Большой четверки?

Использованная литература:

Фуко, М. (2012). Дисциплина и наказание: рождение тюрьмы. Винтаж.

Йонас, Х. (1987). Das Prinzip Verantwortung. Versuch einer Ethik für die technische Zivilisation.

Лукес, С. (2004). Власть: радикальный взгляд. Международное высшее образование Macmillan.

Лиотар, Дж. Ф. (1984). Состояние постмодерна: отчет о знаниях (Том 10). Университет Миннесоты Пресс.

[1] https://priceonomics.com/why-the-father-of-modern-statistics-didnt-believe/

[2] Теперь, когда вы, дорогой читатель, знаете о власти как о дискурсе, вы можете начать замечать ее тонкие эффекты в социальном мире вокруг вас и на работе.