Оставить Google на конвергенции

Размышляя об 11 годах и дарах ответственного искусственного интеллекта

Я начинаю каждую работу, которую когда-либо выполнял, с одними и теми же двумя целями: выработать себя без работы и уйти до того, как закончу. Достижение комбинации «у меня есть» и «пора» означает, что неудивительно, что глава закрывается. 2 марта, через 11 лет и 2 недели после получения моего «Добро пожаловать в Google!» письмо, я сдал свой значок и попрощался с организацией, которую никогда не думал, что буду знать так хорошо и так долго.

Работая с Google, я многому научился и значительно вырос, но последние четыре с половиной года работы с облачным ИИ и отраслевыми решениями позволили работать наращиванию навыков в области продуктов и стратегии выхода на рынок. >. Хотя это само по себе было бы увлекательной поездкой, она не изменила бы жизнь.

Но это было.

В этой роли весь мой женский опыт в основном мужском окружении и мои многочисленные, э-э, окольные карьерные пути — те, которые предоставили бесконечную пищу для моментов «поделитесь забавным фактом о себе» — сошлись. Это слияние выявило миссию моей жизни: ответственный ИИ.

В этой роли я стряхивала пыль со своих степеней в области гендерных исследований и сексуальности и педагогической психологии, глубоко и с новым исследованием изучая невероятные уроки, полученные во время работы с бесподобной Кэрол Гиллиган. Я откопал свои старые планы уроков по обучению литературе средних и старших классов, когда мы пытались раскрыть смысл, понимание и принадлежность того, что слова и истории позволили нам увидеть. Я пересмотрел то, что я узнал о создании эмпатии, погружая детей в природу, традиционные навыки дикой природы и создание сообщества. Я проследил свои детские шаги в антропологических этнографических исследованиях. Я обратился к урокам дизайна, ориентированного на человека, из Стэнфордской d.School. Все вдруг обрело смысл и актуальность.

Приоритизация всего спектра человеческого опыта в создании передовых технологий глубоко вдохновляет, очень сложна, чрезвычайно сложна и невероятно ценна каждой секундой. Каждый раз, когда мы смело принимаем сложность и создаем пространство для честного противостояния, участия с этическими соображениями и ответственного использования технологий, преимущества экспоненциальны. Когда мы делаем это правильно, наши системы отсчета открываются, и мы понимаем, что то, где мы, возможно, раньше проводили границу вокруг нашей сферы ответственности, больше не имеет смысла. Мы понимаем, что для создания самых передовых, инновационных, безопасных, надежных и успешных технологий нам необходимо глубоко изучить социотехнический ландшафт. Нам нужно честно противостоять слепым пятнам, о которых мы, возможно, даже не подозреваем, из-за того, что считается «нормальным» и что является «другим» в нашем мире. Даже если нам действительно не нравится то, что мы видим. Когда мы делаем это, изменения могут произойти и произойдут.

Когда я присоединился к Cloud AI в сентябре 2017 года, моим первым самостоятельным проектом был поиск осмысленного способа оценки долгосрочного воздействия ИИ как неотъемлемой части разработки продукта. Я знал, что это должно быть основано на основных ценностях, и раскрытие того, что важно для нашей организации — Смелость, Честность, Сострадание и Воздействие — создало основу для процесса оценки, который я начал тестировать в начале 2018 года. Это переросло в процессы управления Cloud для внедрение Принципов искусственного интеллекта Google.

Эти процессы содержат в себе работу, которая сделала меня самой гордой, самой любопытной, самой сострадательной и самой смелой. И эти последние четыре с половиной года снова и снова подтверждали для меня то, что началось как гипотеза для Cloud в 2017 году — что Ответственный ИИ является синонимом успешного ИИ и неотделим от него.

Я даже не могу поверить в свою удачу, что первые месяцы нашей жизни я провел с экстраординарной Шеннон Вэллор, которая помогла нам усовершенствовать наш процесс до систематической, воспроизводимой и надежной структуры. Шеннон научил меня, как вести смелые разговоры об этике и ответственности в технологиях таким образом, чтобы одновременно встречать людей там, где они есть, и при этом не умалять того, что мне нужно для общения.

Я так благодарен многим, многим замечательным коллегам в области ответственных инноваций, справедливости машинного обучения и интерпретируемости, героическим усилиям команды Google по правам человека и гражданским правам, которые (среди прочего) помогли нам формализовать критическую работу внешних Оценок воздействия на права человека. , неутомимые группы по вопросам государственной политики и глобальных стандартов, помогающие вывести ответственный ИИ на передний план, что, как я считаю, станет одной из самых важных политик нашего времени, а также критически важные социологи, специалисты по технической этике, и исследователи прав человека, чьи знания и мнения находятся на пересечении того, что ИИ должен принять, и пути к успеху.

Я даже не могу начать в своей команде, ребята. Да, у нас было самое длинное название команды (Outbound Product Management, Engagements & Responsible AI — иначе OPERA. Очевидно.) но если бы я мог доверить будущее нашего мира кому-то, то это было бы экипаж и OK FINE Я здесь немного предвзят, но это правда. Извините, я не устанавливаю правила.

Я также навсегда благодарен двум женщинам, которые были одними из моих самых больших учителей: Мэг Митчелл и Тимнит Гебру. Я по-прежнему глубоко расстроен тем, как они ушли из Google, и я ужасно скучал по ним за последний год. Я знаю, что мое молчание ранило их, как и некоторые способы, которыми я больше всего пытался поддержать их обоих. Я также знаю, что я сделал выбор, который я сделал сознательно и с причинами, за которые я поддерживаю. Как бы тяжело это ни было и остается сегодня, я не жалею об этом очень личном выборе. Мне тоже жаль. Я осознаю, что возможность выбирать — это привилегия, и хотя я знаю, что могу сдерживать напряжение уверенности в своем выборе, сожаление, которое я испытываю по этому поводу, и даже гордость за то, что, как я знаю, я делала за кулисами, я также знаю, что есть еще уроки для меня, чтобы узнать. В конце концов, опыт этих женщин поставил меня лицом к лицу с тем, пора ли мне покинуть Google, и независимо от того, куда нас заведет наше будущее, я дорожу уроками, которые они мне дали, прямо или косвенно, в партнерстве. , так и в невзгодах. Я буду продолжать учиться у них обоих на протяжении всей своей карьеры.

Раджен Шет. Вы бесподобны. Навсегда.

Поскольку я приступаю к своей следующей главе в качестве партнера-основателя Uncommon Impact Ventures, где, помимо прочего, я буду строить практику ответственных технологий, я хочу поделиться некоторыми уроками и истинами, которые представляют мои надежды для любой организации, включая Google. в вовлечении в эту работу.

5 уроков.

  1. Технического совершенства недостаточно. ИИ является социотехническим — технология не может быть отделена от людей и созданных ими рабочих процессов, которые информируют, формируют и развивают ее использование. По правде говоря, большинство систем ИИ построены на множестве отдельных частей человечества (так называемых данных). Эти данные основаны на постоянной исторической (вплоть до настоящего момента) информации и кодируют социальные системы, динамику власти и человеческий выбор в этих историях. Люди сообщают ИИ, что он видит, а затем ИИ пытается сопоставить это с текущей информацией из реального мира. Когда есть совпадение, успех! Когда его нет, система дает сбой. Когда это представляет целые группы данных о человечестве, которые система отсутствует или не может видеть, система постоянно и непропорционально дает сбои. Это создает вред.
  2. Справедливость зависит от контекста. Справедливость должна быть определена для каждого прикладного использования ИИ. Когда вы делаете это, вы осознаете вред, который вы можете причинить, и только тогда вы можете его решить. Затем вы сможете создать лучшее решение, обеспечивающее наибольшую ценность, выгоду и (БОНУС!) измеримый эффект. Кстати, вот тут-то и приходит на помощь инструментарий — сам по себе он не является решением.
  3. Без активной коррекции вреда прогресс будет постепенным. Даже если вы проводите надежную оценку, если вы не работаете над устранением того, что невидимо и отсутствует в ваших данных, любые меры по смягчению последствий только для ваших исторических данных будут бесполезны. в лучшем случае быть инкрементным. Постепенное улучшение того, что вы видите, в сочетании с полным снижением вреда того, что вы не видите, будет гораздо более вредным и дорогостоящим, чем предварительная работа по оценке и исправлению.
  4. Изменения неизбежны. Скорость инноваций в области ИИ продолжает опережать закон Мура. Даже если скорость технологических изменений замедляется, социальных изменений нет. То, что могло казаться приемлемым выбором несколько лет назад, не означает, что так будет всегда. Нам нужно подходить к использованию передовых технологий со смирением и любопытством, присущим учащимся на протяжении всей жизни. Это может вызывать глубокую тревогу в мире корпоративных технологий, однако я обнаружил, что участие в этой сложности с клиентами укрепляет, а не разрушает доверие.
  5. Искусственный интеллект подвержен ошибкам. ИИ не волшебство; это математика. Поскольку математика содержит социотехническую природу ИИ, она не всегда верна. Отнюдь не. Вот почему ИИ не должен быть единственной или основной основой для принятия решений, особенно когда эти результаты могут существенно повлиять на людей, общество или окружающую среду. Я сделаю еще один шаг и скажу, что в таких ситуациях недостаточно иметь «человека в курсе». Значимый человеческий контроль и множество источников информации имеют решающее значение для принятия решений.

Три истины.

1. Процесс имеет значение

Записывать свои ценности для использования передовых технологий невероятно важно, но этого никогда не бывает достаточно. Вам необходимо претворить эти ценности в жизнь с помощью четких, воспроизводимых и специализированных процессов управления. Приверженность процессу также решает две важные проблемы.

Во-первых, установленный процесс убирает с водительского места личные убеждения. В наших обзорах выслушивание и обмен личным опытом помогли комитету определить конкретный вред или возможности, и это информировало нашу оценку относительно каждого принципа ИИ. Затем процесс применил ограничения, чтобы обеспечить контекстуализацию входных данных в ходе нашего анализа.

Во-вторых, без повторяемого процесса, за которым все время следуют все участники (что не означает, что он статичен — он должен приспосабливаться к новой информации и реалиям, его просто нужно повторно ратифицировать, когда он это делает), он может быть далеко слишком легко создать риск для вашего авторитета, если что-то встанет под сомнение.

2. Прозрачность — это бальзам

Это может быть чревато, но я действительно не думаю, что это должно быть. Вы никогда не найдете всеобщего согласия с результатами оценки (и я бы сказал, что это не должно быть целью). На мой взгляд, благородная цель состоит в том, чтобы внести ясностьв процесс и вашу приверженность ему. Это создает общее понимание того, как происходит оценка, что было учтено и действия. вы приняли меры, чтобы соответствовать своему уставу, уменьшить вред и реализовать возможности. Это позволяет согласовать разногласия по поводу результатов с уверенностью в том, что процесс всегда тщательный, продуманный и ориентированный на действия. Чтобы было ясно, прозрачность не означает постоянное предоставление всего. Не вся информация является общедоступной, и не вся информация актуальна.

Вот в чем дело. Когда существует осмысленный процесс, но прозрачность не является упреждающей, недоверие имеет самую сильную почву для размножения.

В отсутствие значимой прозрачности недоверие заставляет людей искать любую информацию, которую они могут найти, и делать собственные выводы о том, что происходит. Это может быть неточным или неполным, но как узнать, нет ли прозрачности? Если возникают опасения и сохраняется отсутствие прозрачности, все становится еще хуже. Это опасно и токсично. Обеспечение упреждающей и надежной прозрачности вашего управления повысит доверие к вашей работе.

Бывает и хуже ситуация, когда информация полная, но рекомендации частично или полностью не выполняются. Возможно, для этого есть вполне веские причины; если это так, ваш процесс должен захватить их. В ситуациях, когда нет веских причин для бездействия, это может быть сигналом того, что информация, которая должна быть известна, скрывается. Когда бездействие проявляется вопреки вам, а не вами, это не прозрачность, это проявление недоверия. дальнейшее недоверие. Теперь вы попали в порочный круг, который сложно разорвать. Ситуация усугубляется, если бездействие не устраняется напрямую осмысленным и честным образом.

Когда прозрачность структурирована вокруг процесса, учитывает тот факт, что всеобщее согласие не является целью, и предоставляет надежную, актуальную и общедоступную информацию (бонусные баллы за ясность, когда есть конфиденциальная информация, которой вы не будете делиться, и любые веские причины для бездействия) , уверенность растет, и вы можете делать свою работу наилучшим образом.

3. Все зависит от психологической безопасности

Тем, кто работает над ответственным ИИ, необходимо иметь дело с некоторыми из самых сложных, деликатных и часто глубоко личных реалий системного расизма, женоненавистничества, ненависти и несправедливости во всех формах, несправедливой предвзятости, нарушений прав человека, геополитических реалий, культурных норм и обычаев. непропорциональные результаты среди затронутых пользователей, и ВСЕ ВЕЩИ ВСЕ ВРЕМЯ. Если вы сосредоточитесь на последовательной оценке, расстановке приоритетов и повышениипсихологической безопасности, могут и будут происходить необычные вещи.

Доверие. Вы понимаете доверие в рабочей среде совершенно по-новому. Это также позволяет вам гораздо быстрее увидеть, когда оно помято, побито или сломано, и не только внутри этой работы, но и везде.

Слушая. Вы учитесь слушать. Я имею в виду действительно слушай. Иногда это означает слушать то, что не сказано или кажется слишком трудным. Это, в свою очередь, позволяет вам создать пространство и время для того, чтобы эти вещи всплыли на поверхность, и когда они это сделают, я обещаю, они имеют решающее значение для успеха.

Мужество. Вы нормализуете трудные разговоры. Повсюду. Я обнаружил, что могу вести то, что в противном случае было бы чрезвычайно сложным разговором, во всех сферах моей работы, а также дома с моей семьей, друзьями и любимыми.

Осознание. Однажды увидев вред, вы никогда больше его не разглядите. Это создает сдвиг парадигмы, который становится волновым эффектом. Вы начинаете принимать другие решения. Вы информируете других о том, почему. Вы активно ищете другие места, где могут проявиться такие же вреда, и видите их и там. И тогда вы видите, насколько они распространены и насколько вредны, и вы никогда не сможете вернуться к принятию решений без этого полного контекста, потому что вы знаете, что они не будут лучшими решениями, которые вы можете принять.

Инклюзивность. Самое главное, на мой взгляд, психологическая безопасность создает условия, при которых те из нас, кто занимает привилегированное положение, власть или власть, видят, какую выгоду мы получаем от того, что являемся «нормой» в социальных и социотехнических системах. . Мы можем не участвовать сознательно, но сам факт того, что у нас есть возможность бессознательного участия в системах, которые приносят пользу нам, в то время как они несоразмерно вредят другим, требует честного расчета того, что мы продолжаем делать каждый день. Решение этой проблемы требует организационной приверженности и индивидуальной работы. Я обращаюсь к своим собратьям-белым: работа должна быть сделана нами, и чтобы создать изменения, способствующие успеху, они должны касаться и нас как личностей. Это открывает дверь для включения. Когда инклюзивность сочетается с психологической безопасностью, тогда вы обретаете принадлежность.

Лично для меня это означало, что я больше не могу прожить жизнь, не подвергая сомнению системы, с которыми я взаимодействую, или плохо реагировать, если мне дан дар задавать вопросы о них только потому, что они хорошо работают для меня. Я не могу предположить, что это означает, что они работают также или вообще для всех. Понимание этого не означает, что теперь мне нужно пытаться решить каждую системную или социальную проблему с помощью узкой вещи, которую я пытаюсь создать. Это не цель. Однако цель состоит в том, чтобы, когда у меня есть вся информация, которую я могу собрать в меру своих способностей, я могу сделать более разумный выбор в отношении того, к чему я могу подойти в том, что я делаю, и я могу лучше понять как максимизировать открывающиеся передо мной возможности и смягчить вред, который я в противном случае мог бы создать или усугубить. Это означает, что я начинаю все больше и больше видеть пересечения и взаимосвязи — социальную карту — и то, как все бесчисленные пути, пролегающие в разные стороны, могут, временами неосознанно, основываться друг на друге, и как это может создавать экспоненциальные, пересекающиеся, и несоразмерный вред в маргинализированных сообществах и группах.

Передовые технологии действительно могут быть использованы для причинения экстремального вреда. Их также можно использовать для исправления, исцеления и восстановления. Вы можете иметь второе без первого, но для этого нужно работать. Я выбираю последнее.

Я собираюсь сохранить свое волнение по поводу того, чем занимается команда Uncommon Impact (я имею в виду, что этот пост НЕ должен быть длиннее…), поэтому на сегодня я оставлю вас с этим.

Совершенство — это делать обычное дело необычным способом.

-Букер Т. Вашингтон