«Дух» прав; тело имеет много недостатков

В прошлый вторник я получил электронное письмо от Института будущего жизни с просьбой подписать петицию о приостановке гигантских экспериментов с ИИ. Когда я подписал письмо, организаторы попросили нас сохранить его в тайне, пока не наступит момент его публикации. В то время я не ожидал, что он поднимет столько новостей, комментариев, статей и многого другого.

Вскоре после его публикации со мной связались несколько новостных агентств, одно из Аргентины, а другое из Мексики, чтобы принять участие в их прямых эфирах и высказать там свое мнение.

Именно тогда я понял, что письмо FLI действительно имело большое значение.

Хотя в конце концов я решил подписать его, я также нашел в письме много утверждений, с которыми я не согласен, поэтому в этом посте я хочу внести ясность и привести доводы за и против письма. Я призываю вас также прочитать само письмо; это не так долго.

Почему сейчас?

Важно понимать, что срочность в открытом письме касается не искусственного интеллекта в целом; речь идет о недавней разработке и выпуске того, что было названо «генеративным ИИ» или сокращенно GenAI.

Если вы не прятались под камнем, вы слышали о ChatGPT (выпущенном в ноябре прошлого года, черт возьми, кажется, это так далеко в прошлом), который является наиболее ярким примером GenAI, но есть и много других, таких как DALL-E, Клод, Стабильная диффузия, По, You.com, Copy.ai и другие. Возможности искусственного интеллекта также включаются во многие продукты, такие как Notion, Microsoft Office, пакет Google Workplace, GitHub и т. д.

Многие из нас признали, что GenAI действительно меняет правила игры, в отличие от других, которые называли его причудой. Билл Гейтс пишет, что дважды за свою уже долгую жизнь видел трансформационные технологии и что GenAI — второй раз (первый раз, когда он увидел графический интерфейс пользователя).

Но это не было гладкой дорогой.

Помимо пресловутых случаев захвата чат-ботов злыми личностями, мы видели много фактических ошибок или даже выдуманных фактов, называемых галлюцинациями, которые вводят людей в заблуждение, потому что текст выглядит так, как будто он был написан с максимальная уверенность; мы, люди, склонны проявлять неуверенность, когда не уверены в том, что говорим, но, конечно же, машины не чувствуют неуверенности (на самом деле и уверенности).

Такие компании, как OpenAI, пытаются создать впечатление, что ошибки исправляются, но некоторые эксперты считают, что ошибки и галлюцинации являются неотъемлемой частью технологии, а не незначительными деталями. Я предложил способ минимизировать ошибки, не претендуя на их полное устранение.

Хотя недостатки далеки от исправления, гонка между конкурирующими компаниями, в частности, OpenAI (с Microsoft позади) и Google (с ее партнерами DeepMind и Anthropic), идет полным ходом. Продукты выпускаются с головокружительной скоростью, просто ради преимущества на рынке, не особенно беспокоясь о последствиях для общества.

Мы, граждане, предоставлены сами себе, чтобы справиться с внедрением GenAI в нашу жизнь, со всеми возможностями дезинформации, предубеждений, фальшивых новостей, фальшивых аудио или даже фальшивых видео.

Правительства ничего с этим не делают. Международные организации ничего с этим не делают.

Я понимаю, что текст генерации изображения выглядит не так критично, как медицинский диагноз или лечение, но тем не менее есть важные последствия. Мы впервые почувствовали, как дезинформация (используемая техническими платформами, такими как Twitter) сыграла роль в выборах в США в 2016 и 2020 годах, и теперь мы страдаем от поляризации в обществе по всему миру. Но боты Twitter несколько лет назад — ничто по сравнению с тем, что вот-вот появится с GenAI, если мы ничего не предпримем для его внедрения.

Давайте теперь рассмотрим, что в письме правильно, а что позже, на мой взгляд, неправильно.

Что открытое письмо получает право

  1. Системы GenAI — это «мощные цифровые умы, которые никто — даже их создатели — не может понять, предсказать или надежно контролировать». Это «непредсказуемые модели черного ящика с появляющимися возможностями». Это объясняет, почему они являются по своей сути опасными системами. Например, «появляющиеся возможности» означает, что, когда системы GenAI становятся достаточно большими, новые модели поведения появляются из ниоткуда — как галлюцинации. Эмерджентное поведение не спроектировано и не запрограммировано; они просто появляются.
  2. «Лаборатории искусственного интеллекта [участвуют] в неконтролируемой гонке за разработку и развертывание все более мощных цифровых умов». Эту безостановочную гонку можно понять с точки зрения доминирования компаний на рынке, но как насчет социальных последствий? Они говорят, что заботятся об этом, но неумолимый темп говорит об обратном.
  3. Вместо того, чтобы позволить этой безрассудной гонке продолжаться, мы должны «разработать и внедрить набор общих протоколов безопасности для продвинутого проектирования и разработки ИИ, которые тщательно проверяются и контролируются независимыми внешними экспертами».
  4. Еще один хороший момент заключается в том, чтобы не пытаться полностью остановить исследования или инновации в области ИИ: «Это не означает паузу в развитии ИИ в целом, а просто шаг назад от опасной гонки к все более крупным непредсказуемым моделям черного ящика с новыми возможностями. ». Кроме того, предлагается переориентация технических усилий: «Исследования и разработки в области ИИ должны быть переориентированы на то, чтобы сделать современные мощные современные системы более точными, безопасными, интерпретируемыми, прозрачными, надежными, согласованными, заслуживающими доверия и верный».
  5. Наконец, в качестве пути предлагается сделать акцент на выработке политики: «Разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надежных систем управления ИИ. Они должны, как минимум, включать: новые и дееспособные регулирующие органы, занимающиеся вопросами ИИ; надзор и отслеживание высокопроизводительных систем искусственного интеллекта и больших пулов вычислительных мощностей; системы происхождения и водяных знаков, помогающие отличить настоящие от синтетических и отслеживать утечки моделей; надежная экосистема аудита и сертификации; ответственность за вред, причиненный ИИ; надежное государственное финансирование технических исследований безопасности ИИ; и хорошо обеспеченные ресурсами институты для преодоления серьезных экономических и политических потрясений (особенно демократии), которые вызовет ИИ».

Что письмо ошибается

Большая часть того, что, по моему мнению, в письме неверно, находится в начале; позже все значительно улучшается. У меня сложилось четкое впечатление, что первую и последнюю части письма написали разные люди (я тоже не подозреваю, что это написал бот). Давайте перейдем к деталям:

  1. Ссылки недостаточно авторитетны. Устные заявления не являются объективными доказательствами. Даже Bubeck et al. ссылка не совсем научная статья, потому что она даже не рецензировалась! Вы знаете, статьи, опубликованные в престижных журналах, проходят процесс рецензирования несколькими анонимными рецензентами. Каждый год я просматриваю более дюжины статей. Если бы статья Бубека была отправлена ​​в рецензируемый журнал, она, конечно же, не была бы принята в том виде, в каком она есть, потому что в ней используется субъективный язык (как насчет Искры общего искусственного интеллекта?).
  2. Некоторые утверждения в письме просто нелепы: оно начинается со слов системы искусственного интеллекта с интеллектом, конкурирующим с человеком…, но, как я объяснял в предыдущем посте, современные системы искусственного интеллекта вовсе не являются человеческими. конкурентоспособны, и большинство сравнений человека с GenAI вводят в заблуждение. Ссылка, поддерживающая конкурентоспособность машин, является фальшивкой, как я объяснял в предыдущем пункте.
  3. В письме содержатся заявления об искусственном общем интеллекте (ИИО), например, «Современные системы ИИ становятся конкурентоспособными в решении общих задач», но я нахожусь в лагере тех, кто рассматривает ИИ как очень далекое будущее и даже не рассматривают GPT-4 как существенный шаг к нему.
  4. Опасности для рынка труда сформулированы нечетко: «Должны ли мы автоматизировать все рабочие места, в том числе приносящие удовлетворение?» Ну давай же; ИИ не подходит для большинства рабочих мест, но то, как он использует некоторые из них (например, возможности графического дизайна, созданные путем удаления тысяч изображений без предоставления какой-либо денежной компенсации их авторам-людям), может быть решено, а не мораторием. , а путем введения налогов на большие технологии и оказания поддержки сообществам графических дизайнеров.
  5. Извините, но почти каждый вопрос в письме написан неправильно: Должны ли мы развивать нечеловеческие разумы, которые в конечном итоге могут превзойти нас численностью, перехитрить, устареть и заменить нас? Это сценарий человек против машин, который не только нелеп, но и подпитывает ложную шумиху вокруг систем ИИ, как указывает Арвинд Нараянан (@random_walker) в Твиттере. Сценарии, подобные терминатору, здесь не представляют реальной опасности.
  6. Чтобы закончить бессмысленными вопросами в письме, давайте проверим этот: «Должны ли мы рисковать потерей контроля над нашей цивилизацией?» Это неправильно на столь многих уровнях, что это трудно комментировать. Во-первых, можем ли мы в настоящее время контролировать нашу цивилизацию? Скажите, пожалуйста, кто контролирует нашу цивилизацию, кроме богатых людей и глав государств? Тогда кто такие «мы»? Люди? Если это так, то мы вернулись к мышлению человека и машины, что в корне неверно. Реальная опасность заключается в использовании инструментов ИИ некоторыми людьми для доминирования других людей.
  7. Предложенное «лекарство» («пауза» в разработке больших языковых моделей, более способных, чем GPT-4), нереалистично и неуместно. Это нереально, потому что оно адресовано лабораториям искусственного интеллекта, которые в основном находятся под контролем крупных технологических компаний с определенными финансовыми интересами, одним из которых является увеличение их доли на рынке. Как вы думаете, что они будут делать, что предлагает FoL Institute или чего хочет их начальство? Ты прав. Это также неуместно, потому что пауза не позаботится о мародерстве, которое уже происходит от авторов-людей, или об ущербе, уже нанесенном дезинформацией от людей с инструментами, которые не должны быть более мощными, чем GPT-4.
  8. Наконец, некоторых людей, подписавших письмо, и в частности Илона Маска, нельзя рассматривать как пример этического поведения ИИ: Маск ввел в заблуждение клиентов Tesla, назвав Tesla Полное самостоятельное вождение. возможности, которые не только не соответствуют уровню 5 стандарта, предложенного Обществом автомобильных инженеров, но также не соответствуют уровню 4 и едва ли соответствуют уровню 3. Не только это, но и Tesla выпустила для публики потенциально смертоносные машины задолго до обеспечения их безопасности, а автомобили Tesla в автономном режиме фактически убивали людей. Каков моральный авторитет Илона Маска, чтобы требовать безопасных, интерпретируемых, прозрачных, надежных, согласованных, заслуживающих доверия и лояльных систем ИИ, которые он не применил на практике в своей собственной компании?

Опять же, зачем я вообще подписался?

Ведь письмо ошибается, почему я решил подписать?

Я не одинок в том, что подписываю это письмо и критикую его. Есть, например, @GaryMarcus, который сказал, как сообщает NYT:

«Буква не идеальна, но дух совершенно прав».

Это способ сказать, что что-то нужно сделать, и письмо можно рассматривать как первую попытку это сделать. Это то, с чем я могу согласиться.

Но если вы хотите получить более ясное представление о предмете, прочтите, например, статью Юваля Харари в Нью-Йорк Таймс. Помимо некоторых чрезмерно амбициозных фраз вроде В начале было слово, мне понравилась его критика сценариев, подобных Терминатору, и его оценка реальных опасностей:

… Просто овладев языком, А.И. будет иметь все, что нужно, чтобы содержать нас в Матричном мире иллюзий, не стреляя в кого-либо и не имплантируя чипы в наши мозги. Если потребуется какая-либо съемка, А.И. может заставить людей нажать на курок, просто рассказав нам правильную историю.