Этическая раскадровка для машинного обучения

Этическая раскадровка для машинного обучения

Представление систем, которые мы создаем, в системах, в которых мы живем

Машинное обучение постепенно проникает во все больше и больше мест, и с его появлением растет спрос на квалифицированных практиков машинного обучения, а также все более разрушительные проблемы с основными представлениями, которые мы придерживаемся в отношении нашего общества. По правде говоря, ML быстро становится слишком глубоко интегрированным в наш мир, чтобы разделять инженерные и этические проблемы друг от друга, и чтобы пережить волну, которую оно создает, нам понадобится рабочая сила, которая остро осознает, как она работает. Рябь сквозь окружающий мир. Где лучше начать повышать эту осведомленность, чем в классе?

Этой весной я был одним из преподавателей пилотного проекта нового учебного курса Google Applied Machine Learning Intensive в Миллс-Колледже, программы, в которой участвовали недавние выпускники колледжей всех специальностей и профессий, чтобы познакомить их с широким спектром основополагающих методов машинного обучения. Google был достаточно любезен, чтобы дать мне возможность опробовать некоторые интегративные подходы к обучению инженерии и этике, и, как результат хорошо настроенной нейронной сети, результаты были потрясающими.

Современное состояние дел

Когда я был студентом инженерного факультета Стэнфорда, от нас требовалось выполнить два требования «инженерного гражданства», чтобы дополнить наши технические знания небольшой долей саморефлексии.

Одним из этих требований был семинар Writing-in-Major, поспешный и досадный разбор курса, основанный на критике домашних заданий из нашей лаборатории цифрового дизайна. Во время урока основное внимание уделялось важности приличия при изложении наших мнений, и основным критерием при написании материала было достаточно самоограничения, чтобы не проклинать профессора (средняя оценка была на удивление низкой). Другое требование, Технология в обществе, заставляло нас записываться на любой курс факультета Наука и технологии в обществе Стэнфордского университета. Эти занятия были в высшей степени абстрактными и интеллектуально формальными, что заставляло студентов, привыкших к прикладному инженерному содержанию, чувствовать, что они оказались в ловушке луковой статьи об академических кругах. Мы были высокомерными, голодными студентами-инженерами, упускающими из виду серьезность предмета в урагане академической позерства. Перенесемся на десятилетие вперед - педагогика и технологии в наших классах STEM значительно улучшились, и все же ...

В начале нашего учебного курса по машинному обучению я был рад увидеть, что Google заблокировал ранний блок, посвященный теме «Справедливость и предвзятость машинного обучения». Прохладный! Это отличное начало, но что-то в нем все еще не давало мне покоя: это был просто еще один семинар Writing-In-Major . По правде говоря, один блок вводного курса машинного обучения, посвященный предвзятости, подобен мыслям и молитвам после трагедии - звучит хорошо, но снимает с себя ответственность за систематическое устранение проблемы.

Поговорим об интегративной методологии

Главный принцип, лежащий в основе наших изменений этического блока этого курса, заключался в том, что он должен быть повторяющимся, постоянно присутствующим аспектом процесса разработки, так же, как мы относимся к отладке и тестированию. Исследования показали ценность интеграции упражнений« сначала тесты в базовые задания CS», и мы надеялись получить аналогичные результаты с подходом сначала предвзятость к курсу ML: по мере того, как студенты наращивают свою умственную мышечную память для изучения и обладая набором данных в инженерном контексте, они также должны развивать рефлекс этического анализа своих решений.

В этом семестре мы пришли к рабочему листу «этической раскадровки»: письменному упражнению, в котором учащимся предлагалось подробно изобразить как положительные, так и отрицательные последствия алгоритма машинного обучения, обученного на заданном источнике данных, а затем провести мозговой штурм по различным способам изменения заданного дизайна. их анализ. Вопросы были структурированы таким образом, чтобы формировать несколько конкретных моделей поведения, которые, по нашему мнению, важно было видеть у принципиальных и компетентных инженеров:

• Помните о возможных негативных последствиях вашего проекта с самого начала, а не замалчивайте их в тайне или на словах после того, как вся техническая работа будет сделана.
• Мозговой штурм исправляет проблемы, возникающие в нескольких измерениях процесса разработки, а не только в технических.
• Чувствовать себя в безопасности, обсуждая негативные проблемы, которые могут привести к остановке проекта, а также вступать в разговор о возможностях продвижения команды вперед.

Каждый раз, когда учащиеся сталкивались с новым набором данных, они должны были заполнить этот рабочий лист. Вначале, когда все студенты работали над одними и теми же данными, мы также последовали этой письменной работе с обсуждениями в классе, чтобы подвести студентов к выполнению упражнения. Одна из основных ролей этих ранних дискуссий заключалась в том, чтобы подчеркнуть важность постоянного осмысления и повторения, а не инженерии имеющихся этических вопросов (что-то, что широкие обзоры программ инженерного образования обнаружили повторяющуюся проблему. ). Мы действительно не хотим, чтобы студенты учились применять технические пластыри для устранения предвзятости. Это, возможно, самый опасный вывод, который можно извлечь из этого упражнения, и инструктор должен проявить особую осторожность, чтобы решить эту проблему.

Рабочий лист этической раскадровки

Здесь представлен рабочий лист, предоставленный нашим студентам, с игрушечным примером, заполненным для демонстрации формы и уровня содержания, ожидаемого от студентов во вводном курсе машинного обучения.

• Опишите свой набор данных

Мы выбрали базу данных рукописных цифр MNIST (http://yann.lecun.com/exdb/mnist)/, коллекцию из 60000 изображений рукописных арабских цифр.

• Напишите историю из одного абзаца, описывающую вымышленного человека, на которого положительно повлияла модель, обученная на этих данных.

Райли - врач, который большую часть своего времени проводит с пациентами, выясняя, как вводить данные в любое текущее программное обеспечение для электронных медицинских карт, которое их практика заключила по контракту. После последнего обновления они решили переключиться на программное обеспечение для создания заметок в произвольной форме, которое позволяет им записывать медицинские записи на планшете в любой форме, которая им нравится, и использует OCR с распознаванием чисел, обученное на MNIST, чтобы сделать эти записи доступными для поиска и копирования. Теперь они могут больше сосредоточиться на удовлетворении потребностей своих клиентов, и им больше никогда не придется разбираться в новом модном пользовательском интерфейсе!

• Опишите как минимум два источника предвзятости, которые могла иметь конкретная модель в вашей истории.

В ходе исследования мы обнаружили, что набор данных MNIST был составлен на основе почерка как сотрудников Бюро переписи населения, так и учащихся старших классов (мы не смогли найти дополнительной демографической информации ни по одной из групп). Хотя в наборе данных представлены сотни разных авторов, вполне возможно, что существуют существенные различия в почерке между практикующими врачами на рабочем месте и людьми, представленными MNIST. Кроме того, поскольку большинство тестов машинного обучения на основе MNIST используют набор данных изолированно, неясно, может ли введение буквенных символов или разметки сделать сети, обученные MNIST, менее точными.

• Опишите хотя бы один способ, которым мы могли бы изменить модель, чтобы смягчить это предубеждение
  Например, что мы можем сделать при разработке нашей модели, чтобы учесть внутреннюю предвзятость во входных данных?

Мы могли бы использовать классификатор поверх обычной сети распознавания, чтобы определить, является ли регион числом или словом, и использовать эту информацию для взвешивания окончательных вероятностей класса символов, полученных из модели OCR. Нам неясно, как решить проблему плохого распознавания рукописного ввода, изменив только наше программное обеспечение - это, по-видимому, потребует более глубоких изменений в самих обучающих данных.

• Опишите хотя бы один способ, которым мы могли бы изменить набор данных, чтобы уменьшить эту предвзятость
  Например, что мы могли бы сделать по-другому, если бы собирали эти данные снова?

Мы могли бы создать набор данных OCR на основе почерка врачей, а также убедиться, что почерк включает в себя примеры полного набора букв, цифр и символов, которые мы можем увидеть в обычной медицинской карте.

• Опишите хотя бы один способ, которым мы могли бы изменить контекст, окружающий модель, чтобы смягчить эту предвзятость
  Например, какие человеческие практики или политики мы могли бы внедрить для защиты людей в социальной системе. где используется эта модель?

Мы могли бы установить строгую политику выпуска записей, так что всякий раз, когда данные передаются из рукописных заметок врача в аптеку или другому специалисту, человек просматривает данные, чтобы убедиться, что все соответствующие записи включены в выпуск и что все цифры копируются. -и-вставлены из них точны.

• Напишите историю из одного абзаца, описывающую вымышленного человека, на которого негативно повлияла модель, обученная на этих данных.

Тейлор - один из пациентов Райли, и после 20-летия у него начались фокальные припадки. Райли прописывает им противосудорожный дженерик леветирацетам в максимальной дозе 3000 мг / день, но при неудачном распознавании текста цифра 3 интерпретируется как 8, и фармацевт не улавливает ее. У Тейлора развивается острое лекарственное отравление, он проводит ночь в отделении неотложной помощи, и теперь у него огромная медицинская задолженность, которую нужно выплатить сверх их общих страховых взносов и невыплаченных студенческих ссуд.

Рабочий лист на практике

Мы представили этот рабочий лист в начале семестра, вскоре после игры с игрушечными примерами линейной регрессии, но до того, как они начали работать с какими-либо реальными данными. Они разделились на группы по три человека, просмотрели то, что было доступно на Kaggle, и заполнили раскадровку для самого интригующего набора данных, который они смогли найти. Их работа варьировалась от тонкой и пугающей (например, этнический ресторан непропорционально обременен финансовым бременем из-за опасений относительно безопасности пищевых продуктов на почве расизма) до истерически смешной (например, молодого потребителя каннабиса отговаривают от дальнейшего употребления наркотиков из-за неправильного предложения сильного штамма. называется Клубничный чизкейк).

Мы обнаружили, что, по понятным причинам, у студентов были невероятно разные уровни комфорта в отношении этого упражнения: некоторые студенты панически отвечали на просьбу «рассказать историю», в то время как другим было сложно понять, как именно связать технически эзотерический набор данных с реальным. жизненный рассказ. Почти всем студентам требовалось разъяснение для подсказки, предлагающей студентам изменить социальный контекст, в котором использовались их технологии. Оглядываясь назад, возможно, наиболее важным улучшением, которое следует отметить для будущих итераций этого задания, будет написание примера раскадровки перед классом в стиле очень похоже на сеанс живого кодирования, который можно сделать для новой техники программирования. Если попросить учащихся указать подробности в соответствии с типами преподавателей в стиле Mad Libs, это может добавить забавное интерактивное измерение к этому учебному компоненту.

Мы также увидели, что ранние ответы студентов на вопросы о смягчении предвзятости, как правило, варьировались от общих махнув рукой до решений типа «быстрые решения», хотя их работа улучшалась в течение семестра, поскольку их работа становилась все более практической. Мы считаем, что специальная индивидуальная поддержка и руководство по «отработке» этих раскадровок, помимо общеклассных обсуждений, имеют здесь большую ценность.

Одно полезное применение, которое мы нашли для этого рабочего листа, помимо его этического измерения, было в качестве диагностического инструмента для выявления студентов, у которых возникли проблемы со связью технических точек в более крупную, более прикладную картину. Просьба к ним построить конкретную карту между набором данных, техническими инструментами, которые они изучали, и реальным вариантом использования предоставила нам широкие возможности для выявления и заполнения пробелов. Это упражнение в дизайн-мышлении оказалось важным позже в семестре, когда студенты приступили к самостоятельным заключительным проектам: мы обнаружили, что, поскольку эти этические принципы были их первым опытом мозгового штурма всего, связанного с машинным обучением, многие из них инстинктивно использовали это как средство, чтобы начать формировать идеи содержания своего проекта.

Наше будущее зависит от размышлений

В Канаде большинство студентов, получивших диплом инженера, посещают церемонию Вызов инженера, на которой они читают отрывок, подчеркивающий социальную ответственность своей профессии, и получают железное кольцо, которое можно носить с собой. их жизни. Эти кольца, напоминание об их социальных обязательствах, конечно, не лучше, чем отдельное подразделение по предвзятости ML, или один семестр инженерной этики, или даже обзорный курс, полный этических рабочих листов. Тем не менее, в них есть что-то, что я считаю прекрасным: они постоянное и постоянное присутствие, одновременно украшение, которое носят с гордостью за наши достижения, а также тяжелое бремя, напоминающее нам о том, как наша работа рикошетит. во всем нашем мире. Это чувство лежит в основе того, что мы надеемся передать через нашу учебную программу.

Мы не представляем этот рабочий лист и связанную с ним педагогическую методологию в качестве предписывающего решения для этического инженерного образования - он может даже не напоминать правильное решение. Скорее, мы делимся им с намерением вызвать у вас интерес к принятию более этичного содержания в вашу собственную техническую курсовую работу; чтобы убедить вас тесно интегрировать действия с вопросами. Авторы этого исследования, поддерживающие задания по компьютерной грамотности в первую очередь, обнаружили, что, хотя это существенно не повлияло на успеваемость учащихся по проектам, они все же заметно улучшили их способность тестировать код. Это было важно не для обучения программированию в первом семестре, а для того, чтобы быть разносторонним инженером-программистом. Как они выразились:

Если учебные программы могут заразить студентов с самого начала, мы полагаем, что они, вероятно, поймут, что тестирование является неотъемлемой частью программирования, приносящей им пользу [sic] на протяжении всей их академической и профессиональной карьеры.

Какое чудесное чувство! Попробуем также заразить студентов этикой. Для тех из вас, кто вдохновился сделать что-то подобное в своем курсе, и для тех из вас, кто уже далеко впереди нас делает аналогичную работу, мое сердце поет - давайте начнем разговор об этом, и давайте сделаем это громко.

Наоми Альтерман - внештатный преподаватель CS и инженер-программист, которая любит разговаривать с людьми о том, как думать о разных вещах. Если вы тоже это сделаете, вам следует написать ей пару слов, она будет в восторге от этого. Ее контактную информацию можно найти на www.nlalterman.com, а ее идентификатор в твиттере - @uhohnaomi.