У каждого есть какая-то философия, явная или неявная, и обычно он тем больше контролируется ею, чем меньше он осознает ее присутствие.

- Философ Борден Паркер Боун (1908)

В другом посте я дал краткий обзор философской проблемы индукции и указал, почему это проблема для улавливания морального роста человека с помощью машинного обучения. Поскольку машинное обучение все больше подпитывает свои прогнозы, полагаясь на поведенческие большие данные (BBD), грань между наукой о данных и социальными науками становится все более размытой. Следовательно, по мере того, как наука о данных на базе BBD постепенно приближается к тому, чтобы стать количественно ориентированной, ориентированной на технологии социальной наукой (см. Социальную физику Алекса Пентланда), ей в конечном итоге придется столкнуться с теми же философскими вопросами, с которыми сталкиваются социологи. .

Роль социальных наук: описание или рецепт?

Эти основные философские вопросы касаются роли социальных наук как описательного или предписывающего предприятия. Другими словами, цель социальных наук состоит в том, чтобы просто «сообщить факты» или дать нам ключ к пониманию того, как лучше структурировать наши социальные миры?

Те, кто предпочитает описательную роль, как правило, черпают вдохновение из исследовательских моделей естественных наук, таких как физика и биология, в то время как сторонники предписывающей роли следуют в следуют по стопам Маркса и видят главную задачу социальной науки в продвижении моралистической цели человеческого освобождения. Для Маркса и более поздних критических теоретиков человеческая эмансипация означала большую свободу, большее равенство, большее материальное и духовное благополучие не для немногих, а для многих.

Конкурирующие методы: позитивизм и интерпретизм

Эти идеологические разногласия относительно надлежащей роли социальных наук примерно отражены в двух основных методологических лагерях. Позитивистские социологи склонны поддерживать строгое разделение между фактами и ценностями, в то время как интерпретативные социологи склонны утверждать, что факты и ценности неразрывно перемешаны.

Вы можете идентифицировать позитивистское исследование, используя количественное моделирование и статистическую проверку гипотез. В позитивистских исследованиях нас интересуют нематериальные конструкции, операционализированные как материальные, но подверженные ошибкам измерения. Достоверные и надежные измерения этих конструкций имеют решающее значение для хорошего исследования. Интерпретивистская социальная наука, с другой стороны, полагается на этнографию, нарративный анализ и построение итеративной (не дедуктивной) теории. Основная цель интерпретативных исследований - понять процесс смыслообразования в отдельных лицах и группах. Однако понимание значения нашей социальной активности и поведения может вызвать затруднения, и я уверен, что мы все это осознаем.

Позитивизм берет свое философское обоснование отчасти из логического эмпиризма Венского кружка (в который входили такие светлые фигуры, как Карл Хемпель, Рудольф Карнап, Курт Гёдель и ранний Карл Поппер), в то время как интерпретативизм исходит из герменевтики и герменевтики и герменевтики. феноменологические »теории Вильгельма Дильтея, Мартина Хайдеггера, Ганса Георга Гадамера, Эдмунда Гуссерля и других. По сей день структура немецких университетов отражает это идеологическое и методологическое разделение между Naturwissenchaften (примерно естественные науки) и Geisteswissenschaften (буквально науки о духе, но чаще именуемые в США гуманитарными науками).

Теперь, когда у нас есть необходимая информация, мы можем обратиться к машинному обучению и изучить, как аспекты дискуссии о фактах применимы к современной науке о данных на основе BBD.

Этот пост будет посвящен так называемому различению фактов и ценностей применительно к машинному обучению и свяжет его со случаями алгоритмической предвзятости и несправедливости.

Что такое алгоритмический уклон?

Алгоритмическая предвзятость якобы проявляется повсюду, от приговоров к уголовным преступлениям, предсказания рецидивизма, полицейского надзора и найма до результатов поиска в Google. В том, что эти случаи называются примерами предвзятости, подразумевается вера в то, что в мире должно быть иначе. Другими словами, предсказания этих алгоритмов отражают ошибочное представление о мире. Эти прогнозы предполагают мир, в котором, например, женщины не работают инженерами, а подозреваемые чернокожие нуждаются в большем контроле, чтобы предотвратить преступления в будущем.

Когда мы говорим, что эти прогнозы несправедливы, мы выражаем моральное заявление о том, что отдельные лица или группы не получили того, что им причитается должным образом. Эти утверждения имеют моральное содержание, потому что они приписывают свойства добра или зла положению вещей, которое они описывают. Такое понятие, как справедливость, - это то, что кембриджский философ Бернард Уильямс назвал бы толстым понятием. Толстое понятие не только описывает свойство возможного состояния мира, но также включает оценочное отношение к этому состоянию.

В нашем случае, когда мы говорим, что алгоритм предвзятый, мы, по сути, говорим, что он каким-то образом распределяет выгоды или бремя в обществе, и это неверно. Выгодами могут быть такие вещи, как высокооплачиваемая инженерная работа или низкие цены; бременем могут быть такие вещи, как тюремное заключение или обыски в полиции. Эти распределения обычно используются в машинном обучении во время оценки набора тестов, когда мы вычисляем различные показатели производительности.

Резюме скрывают важную моральную сложность

На данный момент мы должны осознавать, что в вопросах справедливости или справедливости мы должны смотреть на распределение выгод и бремени, а не просто на сводную статистику, которая может скрыть сложности распределения. Например, при проведении контрфактического анализа эффективности лечения или вмешательства какие отдельные люди могли относительно выиграть больше всего? Возможно, именно эти люди должны быть в центре внимания нашей процедуры оптимизации.

Кроме того, мы могли бы опираться на различные философские принципы справедливости, такие как принцип максимина Джона Ролза, цель которого - ранжировать результаты распределения по их влиянию на беднейшие слои общества. Тщательная визуализация данных, а не просто обобщение, имеет решающее значение для работы таких подходов. Это главный аргумент против использования автоматизированного машинного обучения в случаях, связанных с поведенческими большими данными, которые могут быть привязаны к живым людям.

Важно отметить, что любое заявление о предвзятости или несправедливости по своей сути является моральным заявлением о том, что положение дел относительно лучше или хуже другого. И мы можем лучше оценивать утверждения о предвзятости или несправедливости, рассматривая результаты распределения, а не просто сводную статистику. Тем не менее, часто в средствах массовой информации, сообщающих об алгоритмической предвзятости, эти «другие» положения дел прямо не указываются, а предполагается ясными из контекста. Как будто мы все разделяем одно и то же моральное видение общества. Но разве мы?

Различие между фактами и ценностями

Давайте отвлечемся от проблемы алгоритмической справедливости и вернемся к дискуссии о фактах, о которой я упоминал ранее. Философ Дэвид Хьюм был, возможно, первым, кто указал на это противоречие между утверждениями о фактах - как обстоят дела - и оценками - тем, что должно быть . Юм утверждал, что, если мы попытаемся восполнить этот пробел, мы совершим то, что позже было сочтено натуралистической ошибкой, когда мы попытаемся перейти от описания к рецепту. Согласно Юму, нет никакого способа вывести должно из есть. Если кто-то утверждает, что так поступил, она ошибается.

Различение фактов и ценностей - очень полезный философский инструмент, который нужно иметь в своем концептуальном наборе. Проводя различие, вы можете принять вывод собеседника в сфере «фактов», но затем заявить, что в сфере «ценностей» такой вывод неадекватен.

Например, когда я рос, я часто жаловался маме, что что-то было «несправедливо». Она отвечала: «Что ж, Трэвис, жизнь несправедлива. Привыкай к этому ». Используя различие между фактами и ценностями, я мог бы сказать: «Хорошо, конечно, жизнь несправедлива. Это точно описывает нашу реальность. Но реальный вопрос заключается в том, должна ли жизнь быть несправедливой. Хотим ли мы жить в таком мире? » Что мешает нам представить себе такое место, где несправедливость не была нормой? Использование различия фактов и ценностей позволяет изменить положение вашего партнера по дискуссии, переключая обсуждение с одного из описания на предписания.

Тем не менее характеристика различия фактов и ценностей как проблемы Юмом впоследствии повлияла на поколения философов и ученых. Под влиянием аргументов Юма они стремились провести четкое различие между наукой, единственной целью которой было описание мира в терминах как можно более объективных и абсолютных (например, Взгляд из ниоткуда Томаса Нагеля или Абсолютное представление мира Бернарда Уильямса. »), А также искусства и гуманитарные науки, которые были направлены на то, чтобы озвучить различные способы, которыми должен быть мир. Две различные и в значительной степени независимые академические культуры были созданы и поддерживаются по сей день (наука и искусство), отражая этот логически непреодолимый разрыв между тем, что есть и тем, что должно быть .

Феминистские ответы на различие между фактами и ценностями

Конечно, не все согласны с тем, что роль науки состоит или должна заключаться в том, чтобы просто сообщать факты. В самом деле, то, что мы считаем фактами, может быть просто отражением предпочтительной эпистемологии правящего класса, созданной для оправдания их буржуазного статуса. Представление Маркса об идеологической надстройке, отражающей ценности и материальные интересы правящего класса, привело к гораздо более поздним размышлениям о различии фактов и ценностей, особенно в феминистской философии науки.

Философы-феминистки, такие как Элизабет Андерсон, утверждали, что факты всегда должны интерпретироваться с учетом различных исходных предположений, независимо от того, озвучены ли они явно. Точно так же, по словам Лизы Гительман, сырые данные - это оксюморон. Даже маститый философ-логик В.В.О. Куайн утверждал, что предсказания научных теорий всегда недооценивались их эмпирическими данными (тезис Куайна-Дюгема). Учитывая определенные экспериментальные результаты, всегда можно предложить альтернативный вариант, который также дал бы те же результаты. Например, мы можем попытаться сохранить явно не подтверждающие результаты эксперимента, заявив, что наше измерительное устройство просто недостаточно мощно, чтобы обнаружить разницу.

Точно так же два коррелированных наблюдения можно объяснить почти бесконечным количеством способов. Хотя мы можем исключить некоторые объяснения этих корреляций, мы не можем категорически заявить, какова действительная причина с полной уверенностью, поскольку могут быть другие альтернативные теоретические объяснения тех же эмпирических данных. Оценка максимального правдоподобия может рассматриваться как математическая формализация такого подхода к научным рассуждениям, когда мы предполагаем, что наблюдаемые данные были получены с помощью некоторой вероятностной модели, и пытаемся найти значения параметров модели, которые увеличили бы вероятность такого наблюдения.

В любом случае суть аргументов, приводимых некоторыми философами науки, заключается в том, что нет четкого различия между фактами и ценностями. Наши ценности, будь то научные - например, касающиеся различных стандартов доказательств - или моральные, - на самом деле играют роль в научных выводах на основе наблюдений. Короче говоря, не существует «бесценных» фактов. На определенном уровне мы должны полагаться на наши ценности (которые, кажется, не имеют четкого или широко согласованного логического или рационального обоснования), чтобы интерпретировать эмпирические наблюдения и соотносить эти наблюдения с нашими научными теориями.

Пределы математического и научного представления

Я надеюсь, что следующее утверждение не является спорным: математические представления положения дел могут описывать только то, что есть или вероятно,, а не то, что должно быть. Вероятность используется для представления состояний дел, в которых, например, нельзя точно определить исходы. В математике 2 + 2 либо равно, либо не равно 4. Закон непротиворечия является неотъемлемой частью наших математических основ. Было бы ошибкой категории утверждать что-то вроде «2 + 2 должно равняться 4». Поэтому неудивительно, что наука использует инструменты математики для построения описательных моделей мира. Мы собираем факты и на основе этих фактов строим теории, которые описывают то, что мы считаем лучшим описанием реальности. По крайней мере, это один из подходов к пониманию связи между наукой и математикой. Однако, как мы описали ранее, философы-феминистки будут оспаривать это мнение.

ML - это не M (ora) L

Проблемы возникают, когда специалисты по данным слепо используют машинное обучение для построения математических моделей реальности и забывают, что машинное обучение не делает моральных различий между тем, что существует (или, возможно, существует) и что должно существовать (потому что это более ценно как внутренне, так и инструментально) .

Для ML нет различия фактов и ценностей. Есть только факты.

Для алгоритма машинного обучения то, что существует, полностью совпадает с тем, что встречается в обучающих данных. Если этого не происходит в мире обучающих данных, значит, его не существует. Подобные предположения объясняют, почему, когда мы обучаем, например, наивные байесовские модели, нам часто нужно применять сглаживание Лапласа для корректировки категорий, которые появляются в тестовом наборе, но не в обучающем наборе. Иногда реальность, зафиксированная в данных обучения, не совсем соответствует действительности. Здесь, надеюсь, пригодится хорошая подготовка специалистов по данным.

Говоря несколько иначе и, надеюсь, не слишком вдаваясь в подробности, индуктивное обучение, которое происходит во время обучения модели, может сказать нам только то, что / что, вероятно, будет, не как должно быть. Принцип индукции основан на предположении, что будущее будет напоминать прошлое. Почему? Потому что в прошлом такое предположение всегда казалось нам вполне удачным. Если это еще не ясно, мы снова имеем дело с различием фактов и ценностей, но на этот раз в контексте машинного обучения.

ML использует индуктивный вывод, чтобы делать свои прогнозы, но эти прогнозы могут противоречить нашим моральным ценностям в отношении различных состояний мира.

К сожалению, упрощенный эмпиризм, лежащий в основе индуктивного машинного обучения, не позволяет алгоритмам поступать иначе. Когда алгоритм обучается на данных, где только 5% инженерных должностей выполняются женщинами, алгоритм не может определить, потому что 5% инженеров на самом деле женщины в интересующей нас группе, ИЛИ, потому, что существуют систематические социальные и культурные барьеры, мешающие женщинам выполнять эти роли. Другими словами, эмпирическая онтология приравнивает наблюдаемое к реальности и исключает любую возможность существования какой-либо более глубокой структуры или механизма, ответственного за то, что мы наблюдаем.

Таким образом, специалист по анализу данных несет ответственность за определение причинно-следственной связи, упомянутое выше. Теперь вы можете понять, почему хороший (активист) специалист по данным будет обладать значительными знаниями в области и социокультурными знаниями. Эти знания имеют решающее значение для обоснования причин наблюдаемых данных обучения. Ученый-активист делает то, что компьютер не может, то есть ее работу нельзя автоматизировать, несмотря на то, что могут утверждать поставщики автоматизированного машинного обучения.

Человеческое воображение и абдуктивный вывод

В отличие от компьютеров, люди обладают способностью к воображению. У нас есть возможность представить себе не только , что, но и могло бы быть. Возможно, контрфактическое мышление - это явно человеческая способность. Применительно к научному мышлению абдуктивный вывод является выражением способности человека к воображению и творчеству. Проще говоря, абдуктивный вывод - это рассуждение, идущее в обратном направлении от наблюдения к причине нашего наблюдения. Речь идет о переходе от эффектов к причинам наблюдаемых эффектов. Абдуктивное мышление эффективно позволяет нам рассуждать о потенциальной реализации независимо от фактической реализации. Делающий оператор Джудеи Перла подходит близко к тому, чтобы уловить эту способность в математической нотации, но пока что у алгоритмов машинного обучения нет способа выявить причины данных, на которых они обучаются.

Похищение в науке

Применительно к научному мышлению абдукция ведет нас от простого наблюдения (наука на уровне чистого эмпиризма) к утверждению условий возможности таких наблюдений (трансцендентальная наука, по словам Иммануила Канта). Таким образом, наша способность к абдуктивному мышлению позволяет нам моделировать реальность, используя три уровня: эмпирический (то, что мы наблюдали), действительный (то, что можно было наблюдать, но не было). t) и реальным (истинные причинные структуры и механизмы, ответственные за наш эмпирический опыт, которые являются условиями возможности для нашего опыта).

Абдуктивное мышление - одна из основных причин, почему даже обучение с подкреплением все еще не сможет перевести нас от узкого ИИ к ИИ общего назначения. Независимо от того, сколько тренировочных данных мы собираем и используем для закрепления нашего обучения в каком-то контексте, тезис о недодетерминации Куайна-Дюгема говорит нам, что нашим наблюдениям всегда могут быть противоречивые объяснения. Как однажды сказал Марвин Мински, потянув за строку миллиард раз, мы никогда не узнаем, что нажатие на одну и ту же струну произведет другой эффект.

Более того, пример Грю Нельсона Гудмана (объясненный в другом посте здесь) показывает, как индуктивный вывод может не улавливать ненаблюдаемые свойства, свойства, которые могут быть временно случайными и ненаблюдаемыми до тех пор, пока не пройдет некоторый период времени. Представьте, что вы пытаетесь предсказать появление бабочки, только увидев различных гусениц.

Пример несправедливости, поддерживаемой ML

На диаграмме ниже мы можем увидеть роль специалистов по данным в этом процессе увековечения несправедливости с помощью машинного обучения. Поскольку ML полагается на индуктивный вывод, его прогнозы могут только предполагать, что будущее будет напоминать прошлое.

Я считаю, что фундаментальная задача для активистов исследователей данных - задать себе следующие вопросы:

Должно ли будущее напоминать прошлое? Какой выбор в области науки о данных я могу сделать, чтобы изменить будущее и добиться более справедливого положения дел?

Как бы выглядел идеальный мир?

Прежде чем можно будет заниматься какой-либо наукой о данных на благо общества, мы должны четко понимать, что такое польза. Ученые по данным прогнозных моделей работают над созданием прогнозов, которые, в свою очередь, используются людьми, которые затем влияют на будущее состояние дел, которые измеряются и превращаются в будущие данные обучения. Здесь работает обратная связь. Вопрос в том, в каком направлении мы хотим, чтобы эта петля двигалась. Без ясного морального видения мы склонны впадать в нигилизм, релятивизм или объективизм Айн Рэнд.

Без размышлений и морального вмешательства со стороны активистов-специалистов по анализу данных индуктивное обучение будет по-прежнему предполагать, что будущее будет напоминать прошлое, к лучшему или к худшему. Следовательно, мы должны думать о том, как используются наши модели и как будет выглядеть наше «идеальное» положение дел. Короче говоря, специалисты по обработке данных имеют право выбирать, должно ли будущее напоминать прошлое.