В недавней статье, посвященной краху FTX, New York Times описала большие языковые модели (LLM) как все более мощное поколение ИИ. которые могут писать твиты, электронные письма и сообщения в блогах и даже создавать компьютерные программы». В этом определении можно многое выделить (например, что делает LLM частью породы, что отличает способность написать электронное письмо от публикации в блоге и т. д.), но на данный момент я Я хотел бы сосредоточиться на термине ИИ. (далее ИИ).

Ссылка на LLM как на пример ИИ, безусловно, не является нетипичной. Действительно, все чаще кажется, что LLM стали одним из современных канонических примеров этой концепции. Но почему мы думаем об этих системах как о членах этой категории? И сколько риторической работы делается, ссылаясь на LLM как на тип «ИИ», в отличие от «моделей», «программ», «систем» или других подобных категорий?

Хотя термин «ИИ» никогда не был точным, он традиционно использовался для обозначения систем, которые могли делать то, что когда-то могли делать только люди.¹ Классические домены включают настольные игры, робототехнику, фильтрацию электронной почты, распознавание лиц и, в последнее время, системы, которые могут генерировать изображения или текст, такие как DALL-E и GPT-3. Тем не менее, многие гораздо менее сложные системы также обычно группируются под одним общим термином, включая, например, относительно простые статистические модели, используемые для прогнозирования рисков в юридических и финансовых условиях².

Хотя есть некоторая логика в том, чтобы сгруппировать все эти типы вещей вместе как часть одной и той же концепции, многие примеры, которые соответствовали бы теме, часто исключаются. Простые калькуляторы, вероятно, не считаются ИИ для большинства людей, хотя они могут выполнять сложные математические операции. Многие типы роботов считаются искусственным интеллектом, но другие, такие как посудомоечные машины, обычно таковыми не являются. Современные системы генерации изображений, такие как DALL-E, почти всегда называют ИИ, но старые способы алгоритмического создания мультимедиа, такие как процедурная генерация музыки, обычно таковыми не являются. Большинство людей, вероятно, не считают поисковые системы в Интернете ИИ, и тем не менее они в значительной степени зависят от основных методов обработки естественного языка.

Учитывая эту концептуальную трясину, термин «ИИ», возможно, становится все менее и менее полезным, до такой степени, что во многих контекстах нам было бы лучше думать гораздо шире в терминах «программного обеспечения» (с программным обеспечением, которое привязано к к конкретному аппаратному обеспечению, как в робототехнике, что является особым случаем). Это не означает, что некоторые типы систем ИИ не заслуживают особого внимания, а скорее то, что большинство опасений, возникающих в связи с тем, что называется «ИИ», также применимы к гораздо более широкому набору вычислительных систем. Более того, наиболее важные риски, связанные с системами ИИ, возможно, больше связаны с их природой как программного обеспечения, чем с их «интеллектуальностью».

Ключевая причина того, что все это имеет значение, заключается в том, что автоматизированное принятие решений, ИИ и программное обеспечение в целом становятся все более неотделимыми от управления. Это включает не только вопросы о том, как регулировать технологии, но и тот факт, что правила и структуры, управляющие нашей жизнью, все больше переплетаются с автоматизацией. В некоторых случаях полномочия по принятию решений полностью отдаются программному обеспечению. В других алгоритмы оказывают влияние на людей, принимающих решения, которые сохраняют за собой высшую власть и ответственность. Во всех случаях необходимо задать важные вопросы о том, как были созданы такие системы и какие эффекты они оказывают.

Некоторые важные ранние примеры этого обсуждались Даниэль Цитрон в ее классической статье Технологический надлежащий процесс. Подробно описывая усилия по автоматизации администрирования пособий в Колорадо, Техасе и других местах, Цитрон описал, как программистам было поручено преобразовать существующую административную политику в конкретные программные правила. Мало того, что они в конечном итоге совершили прямые ошибки, они также фактически получили неявные полномочия разрешать двусмысленность таким образом, чтобы обойти стандартные демократические процессы. Хотя Citron не упомянул ИИ в этой статье, аналогичная динамика наблюдается сегодня в системах на основе машинного обучения, которые развертываются во многих ветвях власти.

Использование более общего термина «программное обеспечение», по общему признанию, сопряжено с определенными рисками, поскольку мысленная модель программного обеспечения людей также может не соответствовать реальности в важных отношениях. Дело, однако, в том, что существует очень тесная связь между тем, что называется «ИИ», и видами вычислений, выполняемыми алгоритмами, которые становятся все более распространенными в социальных системах. Признание этой преемственности помогает понять, откуда берутся риски, а также предоставляет дополнительные ментальные модели, которые могут быть полезны для размышлений об их потенциальном воздействии на общество.

Важно отметить, что хотя «обучение на протяжении всей жизни» является важной областью исследований в области машинного обучения, подавляющее большинство существующих систем ИИ, по сути, представляют собой просто неизменные математические функции, которые при необходимости выполняют определенные вычисления. определенных вычислительных компонентов, каждый из которых принимает входные данные, выполняет четко определенные вычисления и возвращает выходные данные.

Большие языковые модели, такие как GPT-3, служат здесь отличным примером. Если рассматривать их как законченный продукт, они способны генерировать впечатляюще связные абзацы текста. Однако то, как они представлены, имеет тенденцию маскировать то, как эти системы на самом деле работают при генерации текста, то есть путем повторных вызовов одной функции. Эта функция принимает произвольную последовательность букв, цифр и знаков препинания (т. е. одно или несколько предложений до определенной максимальной длины) и возвращает для вывода распределение вероятностей по словарю возможных токенов (слов или фрагментов слов). Затем один из этих токенов случайным образом выбирается из этого распределения, и этот процесс повторяется снова и снова, каждый раз включая вновь сгенерированный токен как часть входных данных для следующего вызова функции.

GPT-3 — это явно тот случай, когда общий эффект складывается из суммы его частей, но понимание того, как это работает, помогает развеять некоторые тайны. Это также напоминает нам о том, что в большинстве случаев все решения о том, что будет делать система ИИ, уже были приняты во время ее развертывания. Для GPT-3 распределение вероятностей, которое будет получено для любой возможной входной последовательности, уже определено заранее (как известно во время обучения) и закодировано в функции, выполняющей вычисления. То есть мы не можем легко узнать, какое распределение вероятностей модель создаст для любого заданного ввода, не вызывая функцию, но каким бы ни был этот вывод, он уже определен, и его всегда можно обнаружить, просто запустив код. (Хотя, конечно, фактический результат работающей модели будет варьироваться в зависимости от того, какие токены выбираются случайным образом из результирующих распределений).

Важно отметить, что то же самое относится и к системам классификации, используемым для таких задач, как прогнозирование погашения кредита. Для набора входных данных, которые использует система (например, возраст, доход и т. д.), данная система предопределяет все решения, которые она будет принимать для всех возможных комбинаций входных данных, даже если они периодически обновляются. Это сильно отличается от правовых систем, в которых многие потенциальные случаи остаются неоднозначными на момент создания правила и останутся таковыми до тех пор, пока решение не будет принято на дополнительных уровнях управления.

Ключевым элементом того, что в наши дни называется ИИ, является не что-то принципиально новое с точки зрения архитектуры программного обеспечения, а способ создания этих функций — обучение на данных, а не написанное программистами вручную. Это важное событие, поскольку оно означает, что теперь можно создавать системы, которые могут (или кажутся) делать что-то лучше или дешевле, чем это было бы возможно при ручном написании кода. Однако во многих случаях детали того, как была создана функция, имеют меньшее значение, чем тот факт, что она существует и развернута, и что она эффективно реализует сложный набор правил, определяющих результаты, правила, которые, вероятно, не были определены в обычном порядке. демократические процессы.⁴

Рассмотрение ИИ как части общего класса программного обеспечения дает несколько преимуществ. Во-первых, это напоминает нам, что мы должны ожидать, что ИИ подвержен ошибкам, как и большинство программ. Это правда, что многие типы систем искусственного интеллекта вводят дополнительные и неожиданные режимы отказа, такие как враждебные примеры, но это помимо множества способов, при которых все программное обеспечение может неожиданно выйти из строя. В отличие, например, от проектирования мостов, в программной инженерии имеется относительно немного механизмов (технических или социальных), гарантирующих, что приложения будут создаваться в соответствии с высокими стандартами надежности. На самом деле, сегодня считается нормой предположить, что программное обеспечение будет иметь недостатки, когда оно будет выпущено, а проблемы будут устраняться по мере их обнаружения с помощью ряда текущих исправлений и обновлений.

Взгляд на ИИ как на программное обеспечение также помогает выявить основные причины, по которым нам следует с осторожностью относиться к широкому распространению автоматизации в обществе. Как отметил Брюс Шнайер в превосходном отчете о рисках, связанных с ИИ, многие угрозы возникают из-за свойств скорости, масштаба и охвата. В частности, скорость работы компьютеров означает, что решения могут приниматься почти мгновенно. Масштаб имеет еще большее значение: после разработки программное обеспечение может быть развернуто чрезвычайно широко при очень небольших затратах, а это означает, что оно может быстро и легко производить системные эффекты.

Сочетание скорости и масштаба создает силу охвата. То есть часть программного обеспечения может легко оказать огромное влияние. Те, кто принимает решения о том, как будет работать программное обеспечение (будь то явно путем написания кода или неявно с помощью моделей обучающих машин), потенциально обладают огромной властью через такие системы, в некоторых случаях эффективно изменяя правила социального мира. Поскольку развертывание автоматизированных систем принятия решений предполагает перераспределение полномочий по принятию решений, даже относительно простые программные системы могут изменить ландшафт власти, потенциально оказывая огромное влияние на жизнь людей как сейчас, так и в будущем. Термин «ИИ», возможно, служит здесь мощной риторической цели, вызывая различные ассоциации и преувеличенные ожидания со стороны потребителей и политиков по сравнению с более громоздкими терминами, такими как «программное обеспечение».

По мере развертывания программных систем в таких областях, как полиция, судебная система и финансовое регулирование, они могут быстро стать частью структуры управления, так что их нельзя будет легко отделить от других частей более широкой системы. Заявления и обещания, сделанные от имени ИИ, возможно, были важной движущей силой распространения таких систем, но сам термин может скрывать их природу как программного обеспечения.

В то время как некоторые системы машинного обучения действительно вызывают особую озабоченность в отношении таких факторов, как труд, предвзятость и техническое обслуживание, мы не должны упускать из виду происходящий более всеобъемлющий сдвиг, при котором власть и влияние в принятии решений передаются вычислительным системам. , часто с несколькими механизмами подотчетности, прозрачности, участия или возмещения ущерба. Мысленная замена термина «ИИ» на «программное обеспечение» во многих случаях дает более четкую модель для понимания видов заявлений и предложений, которые делаются в настоящее время, и может помочь нам обдумать возможности и риски, которые они влекут за собой.

  1. Рассмотрим, например, это утверждение из предложения Дартмутской конференции 1956 года по ИИ: Будет предпринята попытка найти, как заставить машины использовать язык, формировать абстракции и концепции, решать виды проблем, которые теперь остаются за людьми, и улучшить себя.
  2. Действительно, если мы посмотрим на недавнее освещение темы в Таймс, то увидим, что многие статьи посвящены моделям генерации текста и изображений (например, рецептам), другие — задачам прогнозирования или диагностики (например, попыткам определить люди, склонные к самоубийству, или бассейны, по которым люди не платят налоги), а некоторые сосредотачиваются на более традиционных задачах оптимизации, таких как управление складом и логистика.
  3. Естественно, некоторые системы будут периодически обновляться, что также стало нормой для программного обеспечения в целом. В той мере, в какой системы действительно учатся «на лету», это также будет встроено в более широкую программную экосистему, включая способы сбора отзывов и т. д.
  4. Много внимания уделяется тому факту, что модели машинного обучения не поддаются простым объяснениям, которые часто нужны людям (поскольку эти функции предполагают взаимодействие многих переменных более высокого порядка), но в целом люди склонны недооценивать интерпретируемость функций ИИ (учитывая, что они полностью открыты для проверки, за исключением проприетарных), и переоценивают надежность традиционного программного обеспечения (которое может быть практически невозможно должным образом проверить). Во всех случаях решающим фактором является то, как ИИ/программное обеспечение связаны с социальным миром и какие эффекты они способны производить.