Дальновидный интеллектуальный лидер в области искусственного интеллекта Тимнит Гебру выступил в Чикагском университете с докладом, который требует много внимания для любого компьютерного ученого.

На этой неделе Тимнит Гебру, известный исследователь в области машинного обучения, бывший соруководитель группы по этическому искусственному интеллекту в Google и соучредитель Black in AI, выступил с докладом в Чикагском университете. Серия выдающихся лекций Центр данных и вычислений.

Академические исследователи слушают много выступлений, возможно, до 5–10 каждую неделю в «пик сезона». Время от времени возникают разговоры, которые коренным образом меняют то, как мы думаем обо всем нашем подходе к исследованиям, нашей философии и типам проблем, которые мы выбираем. Доклад Тимнита был одним из таких. Это обязательное приложение для просмотра любым ученым-компьютерщиком.

Этой весной мы в Центре данных и вычислений Чикагского университета проводили серию выступлений под названием Коррекция предвзятости: решения для социально ответственной науки о данных », в которой приняли участие ряд великих докладчиков, которые исследовали некоторые социальные аспекты. последствия машинного обучения, в том числе способы проектирования систем машинного обучения, учитывающих эти различные социальные эффекты.

В своем выступлении Тимнит выдвинул на первый план несколько важных уроков, которые важны для любого исследователя информатики, который работает над проблемами, имеющими социальное влияние, включая не только многих исследователей машинного обучения, но и людей, которые работают над гораздо более широким кругом практических исследовательских проблем.

Тимнит затронула несколько основных тем в своем выступлении:

1. Технологии никогда не бывают нейтральными.

2. Остерегайтесь парашютного дела.

3. Иерархии знаний действуют как привратники.

4. Технические исследования должны понимать социальный контекст.

Я обобщу каждый из них ниже и расскажу, как мне удалось связать эти моменты со своими собственными взглядами и проблемами исследования.

Технология (включая исследования в области технологий) никогда не бывает нейтральной

Специалисты по информатике часто представляют себе удобную позицию, что они «просто разрабатывают технологию» и что эту технологию «можно использовать различными способами, как хорошими, так и плохими». Timnit сформулировал эту точку зрения как точку зрения, которую иногда могут использовать исследователи машинного обучения - разработка технологии без особой заботы о том, как она будет использоваться и какими могут быть эти последующие эффекты.

Timnit сформулировал эту точку зрения как Взгляд из ниоткуда, концепцию журналистской этики, которая описывает представление о том, что журналист может сообщать о противоположных версиях в ситуации или событии как имеющих равные достоинства или ценность, принимая отдаленные , бесстрастная точка зрения. Такой подход критиковался в журналистике как снятие с себя ответственности - по сути, попытка казаться нейтральной и не делать ставки, чтобы избежать проверки или обвинений в предвзятости.

Эта концепция мне слишком хорошо знакома, поскольку я работал в сфере интернет-цензуры. Исследователи интернет-цензуры часто проводят измерения и разрабатывают инструменты, предполагая, что измерения просто «представляют информацию» и что инструменты для обхода однозначно хороши, потому что они способствуют «свободному и открытому Интернету». Но даже, казалось бы, безобидное представление информации о том, что подвергается цензуре, а когда - не является нейтральным.

Решение исследователя изучить такую ​​проблему, как цензура в Интернете, и предоставить информацию определенной аудитории (например, правительственным организациям, правозащитным группам, гражданам) может иметь серьезные последствия: включая, в крайнем случае, дестабилизацию правительства и «смену режима». Выбор работы над такой темой (а в наши дни почти любой технической темой, учитывая социальные последствия технологий в наши дни) отражает отсутствие нейтральности и конкретных оценочных суждений. Даже кажущиеся безобидными измерения имеют этические соображения, если они вызывают побочные эффекты (например, политические волнения, дестабилизация правительства).

Для младших исследователей, и особенно для аспирантов, изменение характера информатики в сторону тем, имеющих социальное и политическое значение, может изменить природу доктора философии. образование. Например, преобладающим общепринятым мнением было то, что доктор философии по информатике. Студенту не нужно беспокоиться об источниках финансирования. В то же время многие (если не большинство) источников финансирования - от промышленности до различных государственных организаций - приходят с повестками дня. Учитывая социальную природу проблем, над которыми работают компьютерщики, становится все труднее отделить техническую работу от этих целей. Хотя, как правило, нет «чистых» источников финансирования, и мы должны до некоторой степени действовать в рамках ограничений нашего мира, важным принципом является прозрачность: исследователи должны четко понимать источники своего финансирования, а также намеренно указывать, как они выбирают эти источники финансирования, тщательно учитывая последующие эффекты. Этот принцип также должен применяться к аспирантам.

Остерегайтесь парашютной науки

Тимнит говорил об опасностях парашютной науки, концепции, при которой исследователи, обладающие ресурсами и привилегиями, проводят исследования в определенном сообществе, где исследователи могут получить выгоду от проведения исследования (например, посредством публикаций, продвижения по службе, пребывания в должности и т. д.), но сообщество, в котором проводится исследование, в конечном итоге не извлекает выгоду из исследования. По сути, сообщество группы людей становится предметом исследования, исследователи в конечном итоге извлекают выгоду из исследования, но как только работа сделана, преимущества исследования не поддерживаются, а люди в сообществе в конечном итоге не получают такой пользы. как они могли бы иначе.

Эта концепция напомнила мне большую часть работы в области ИКТР, когда исследователи могут «парашютировать» в сообществе, развертывая технологии или проводить измерения в сообществе в течение ограниченного времени - до тех пор, пока это служит цели исследования - но впоследствии залог после завершения проекта, тем самым не создавая устойчивых выгод для кого-либо в сообществе.

Это также проблема, с которой мы сталкиваемся в некоторых из наших исследований цифрового разрыва, посредством которых мы стремимся привлечь участников из сообществ в Чикаго, чтобы помочь понять природу пробелов в широкополосном доступе в Интернет в определенных недостаточно обслуживаемых сообществах. Хотя сбор этих данных - это упражнение, которое, как мы надеемся, в конечном итоге поможет уменьшить неравенство и улучшить возможности в этих сообществах, необходимо очень тщательно подумать о том, как мы подходим к этим проблемам, чтобы гарантировать, что любая деятельность, которую мы выполняем в районе, устойчиво, далеко за пределами нашего собственные исследования, бумажные публикации и т. д. Ключом к этому является положительное воздействие, которое является устойчивым, т. Е. Выгоды, которые продолжают существовать после проектной деятельности.

Иерархии знаний

Тимнит также описал иерархии знаний, в которых авторитетные ученые или группы ученых (например, программные комитеты, компании) действуют как привратники информации. Эта концепция, безусловно, та, которую Тимнит испытал непосредственно в ее недавнем опыте руководства командой Google по этическому искусственному интеллекту, где ее недавняя исследовательская работа, привлекающая внимание к недостаткам крупных языковых моделей Google в конечном итоге привела к цензуре исследования Google и увольнению Timnit. .

Тимнит проницательно заметил, что:

1. эти иерархии знаний наблюдаются как побочные продукты властных структур

2. Эти властные структуры определяют иерархии во многих измерениях: между дисциплинами, в зависимости от статуса, между отраслью и академическим сообществом и так далее.

Концепция иерархии знаний также знакома большинству специалистов по информатике и, безусловно, проявляется во многих формах. Одна из иерархий знаний, с которой сталкиваются многие исследователи, - это введение сдвигов парадигм или вызовов преобладающим ортодоксальным взглядам: исследователи, чьи существующие исследовательские программы, результаты или будущие траектории зависят от конкретной парадигмы, могут пойти на многое, чтобы запереть врата. Это наблюдение очень напомнило мне Структура научных революций.

Часто существует положительная обратная связь, когда те, кто хорошо известны своими исследованиями, оказываются на влиятельных позициях (например, в комитетах по программам, комитетах по оценке и срокам полномочий, национальных консультативных советах, комитетах по наградам), где у них есть сильные рычаги для поддержания существующие ортодоксальные взгляды и парадигмы, которые согласуются с их собственными исследованиями, их собственными предположениями и их собственными мотивами.

Хотя это явление проявляется во многих измерениях, особенно ярко оно проявляется в увеличивающемся охвате академических исследований в областях от экономики до информатики. Целые области сместились из-за влияния одной или небольшого числа компаний. Исследователи приравнивают Интернет к крупным центрам обработки данных, преимущественно расположенным в богатых северных широтах (без учета развивающихся регионов, сетей доступа, технических протоколов и многих других аспектов), приравнивая глубокое обучение ко всему машинному обучению (игнорируя другие формы машинного обучения). и так далее. Эта эхо-камера сохраняется, поскольку эти компании контролируют не только свои собственные компании (как это произошло с Тимнитом), но также и доминируют в программных комитетах, руководящих комитетах и ​​т. Д., Оказывая влияние (и контролируя) не только на то, как протекают процессы. но - что важно - какие темы привлекают (или требуют) внимания исследователей, а какие игнорируются.

Слишком большая замкнутость и связанное с этим жесткое мышление могут привести к значительному ущербу, в том числе к невежеству и предвзятости, которые подавляют различные точки зрения, отталкивают исследователей от сообщества и в конечном итоге сдерживают научный прогресс и общество в целом. Это недавно обнаружилось в сетевом сообществе, когда рецензент ошибочно утверждал, что пользователи Интернета в северном полушарии были единственными пользователями, которые имели значение.

Как мы можем это изменить? Я считаю, что, хотя нет простых ответов - в конце концов, контроль за воротами в некотором смысле имеет фундаментальное значение для институтов и по уважительной причине во многих случаях может также привести к повышению эффективности организации - изменения должны происходить в основном изнутри и инициироваться старшими руководителями. в сообществе, не связанном с властными структурами. Я считаю, что все исследователи могут извлечь из этого более глубокий урок: знайте свои ценности. Существующие властные структуры часто стимулируются стимулами, которые включают поддержание статус-кво, существующих властных структур, институтов, путей финансирования и так далее. Этот принцип распространяется практически на любую организацию, имеющую влияние или власть, от советов директоров кондоминиумов до правительств. Как человеку, столкнувшемуся с властной структурой, знание своих ценностей обеспечивает огромную самоэффективность как в решении проблем, над которыми вы решаете работать, так и в том, как вы противостоите сопротивлению со стороны организаций и ортодоксальных взглядов.

Технические исследования необходимы для понимания социального контекста

Тимнит рассказала о своей основополагающей работе над Gender Shades, в которой изучалось, как интерсекциональность влияет на точность различных алгоритмов распознавания лиц.

Раса как социальный конструкт - это устоявшаяся теория в социальных науках. Что мне показалось особенно глубоким в работе Тимнит, так это то, как она применила свои идеи относительно этой концепции к своей работе над точностью распознавания лиц: вместо того, чтобы сосредоточиться на расе как зависимой переменной, Тимнит и ее коллега сосредоточились на оттенки кожи, отмечая, что оттенки кожи - это то, что можно измерить и измерить, тогда как раса - это понятие, в значительной степени изобретенное обществом, которое изменчиво, а также определяется динамикой власти и культурой.

Этот момент - особенно то, как идеи социальных наук повлияли на дизайн технического исследования - является глубоким, и я считаю его прекрасным примером того, почему так важно проводить исследования с более широким пониманием социальных контекст.

Часто компьютерные ученые могут выбирать проблемы для работы, не принимая во внимание более широкие социальные конструкции. Проблемы классификации машинного обучения, подобные описанной выше, вполне могли бы уйти в сторону, например, без понимания критической теории.

Мы также сталкиваемся с этими проблемами при измерении сети, так как мы обнаруживаем, что наши текущие исследования цифрового разрыва должны принимать во внимание более широкий контекст - недостаточно просто собрать результаты тестов скорости, и «скорость», которая отражается в измерении Инструмент в конечном итоге имеет лишь минимальное отношение к реальным проблемам и их истинным источникам.

И все же организации и люди будут оптимизировать то, что измеряется, и как данные классифицируются. Сосредоточение внимания на «скорости» заставляет интернет-провайдеров оптимизировать распределение всех своих ресурсов, чтобы это число выглядело хорошо. Если проблема в другом месте (например, плохое подключение к Wi-Fi в доме, старые устройства, культурные причины недостаточного использования), то такой выбор метрики приводит к катастрофическому незаконному присвоению ресурсов.

Резюме

Выступление Тимнита об иерархии знаний было пронизано важными моментами, из которых мы все можем извлечь уроки. Более важным моментом, подчеркивающим все вышеперечисленное, является то, что научные исследования сами по себе в значительной степени являются человеческим процессом. Нейтралитет технологий и исследований - это миф, и как исследователи мы работаем и проводим свою работу не в вакууме, а в более широком контексте организаций, которые могут иметь конкурирующие стимулы, и нашего общества, которому наши исследования должны в конечном итоге служить на справедливой и справедливой основе. , и устойчивые способы.