В середине 20 века человечество вступило в новую эру. До этого каждый человек, который жил и умирал на этой планете, делал это со знанием того, что даже после их смерти часть их будет жить дальше. Это может быть через их потомков или их действия, которые окажут неизгладимое влияние на мир. Люди могли утешаться тем, что после их смерти жизнь продолжится без них. Люди умирают, но человечество продолжает существовать.

По мере развития цивилизации дальнейшее существование человечества становилось все более безопасным. Всегда существовал крайне малый шанс того, что какое-то космическое или геологическое событие могло сделать планету непригодной для жизни, но, вообще говоря, катастрофа, которая могла уничтожить человечество 50 000 лет назад, оставила бы выживших, если бы произошла сегодня. На протяжении большей части истории человечества вероятность того, что человеческая раса просто перестанет существовать, была почти нулевой.

С тех пор мы живем в другой реальности. Что-то фундаментальное изменилось. Человечество стало гораздо более устойчивым к природным катастрофам, но самые опасные катастрофы уже не естественны. Сегодня катастрофа, которая может поставить под угрозу дальнейшее существование человечества, с гораздо большей вероятностью будет вызвана людьми, чем какими-либо естественными причинами. Изменение климата, ядерное оружие и искусственно созданные болезни — все это гораздо более серьезные угрозы, чем все, что происходит в природе.

Со временем количество, вероятность и серьезность этих угроз только возросли. Сегодня ядерное оружие намного мощнее и многочисленнее, чем 70 лет назад. Изменение климата стало еще более серьезным, и эта тенденция, вероятно, сохранится в обозримом будущем. Технологические достижения последних нескольких десятилетий значительно упростили создание опасных организмов. Ресурсы, необходимые для этого, быстро сокращаются до такой степени, что небольшая группа людей может сделать это без поддержки какого-либо национального правительства.

Вероятность того, что человечество вымрет в ближайшем будущем, никогда не была выше, чем сейчас. Тем не менее, шансы все еще относительно невелики. Даже подобные угрозы вряд ли приведут к полному исчезновению человечества. Они будут опустошительны в невиданных ранее масштабах, но все равно останется много выживших. Однако в ближайшие несколько десятилетий вполне вероятно, что произойдет еще один сдвиг.

Мы находимся на грани создания новой экзистенциальной угрозы. В отличие от тех, с которыми мы сталкивались ранее, эта новая угроза на самом деле способна вызвать полное и необратимое вымирание человечества без шансов на выживание. Искусственный интеллект (ИИ) — это термин, который стал очень известным, но до сих пор остается плохо понятым за пределами небольшого числа ученых-компьютерщиков, которые работают над развитием технологии.

Чтобы иметь хоть какую-то надежду пережить эту угрозу, ее нужно сначала понять — не только нескольким миллионам ученых-компьютерщиков, но всем. Цель этой статьи — объяснить угрозу искусственного интеллекта доступным для всех способом, независимо от образования или области знаний.

Вымышленный ИИ

Прежде чем обсуждать, что такое ИИ, давайте сначала обсудим, чем он не является. Это необходимый обходной путь из-за огромного количества книг, фильмов, телешоу и видеоигр, в которых фигурируют машины с искусственным интеллектом. Даже тот, кто почти ничего не знает о компьютерах, скорее всего, знаком с концепцией «апокалипсиса ИИ». В некотором смысле это хорошо, однако большинство вымышленных изображений ИИ в лучшем случае вводят в заблуждение.

Истории, в которых ИИ обращается против человечества, обычно имеют одну и ту же тему. ИИ становится самосознательным и начинает думать самостоятельно. Возможно, ИИ видит в людях угрозу, возможно, ИИ видит в людях низшую форму жизни, или, возможно, у теперь разумной машины просто есть свои чувства, надежды и цели. ИИ перестает подчиняться людям и часто намеревается полностью уничтожить людей. Хотя эти машины обладают искусственным интеллектом, их действиями управляет что-то другое, а именно искусственное сознание.

Реальная угроза ИИ не имеет ничего общего с сознанием. ИИ не нужно сознание, разум или разум, чтобы положить конец человеческой расе. Измерение прогресса и, следовательно, угрозы ИИ по тому, насколько мы близки к созданию синтетической формы жизни, — совершенно неверная мера.

Второй миф об ИИ, поддерживаемый художественной литературой, состоит в том, что большинство выдуманных ИИ на самом деле не очень умны. Вымышленные ИИ, как правило, изображаются чем-то похожим на очень умного человека. Иногда им даже приписывают критический недостаток, заключающийся в том, что они не могут предсказать или отреагировать на человеческое творчество и изобретательность. Для этих предположений нет никаких оснований. Нет теоретического предела тому, насколько разумным может быть ИИ, и нет причин думать, что чрезвычайно умная машина не сможет понять человеческую психологию.

Справедливости ради писатели-беллетристы, было бы трудно изобразить ИИ с более реалистичным уровнем интеллекта. Мы можем относиться к идее чего-то, что в 5 или 10 раз умнее среднего человека. Однако если бы кратность была ближе к 1 тысяче или 1 миллиону, трудно было бы представить, на что способна такая машина. Это приводит к другой причине, по которой вымышленные ИИ изображаются так неточно. В историях, связанных с конфликтом между людьми и машинами, зрители обычно предпочитают истории, в которых люди побеждают, каким бы маловероятным ни был этот исход.

Настоящий ИИ

Настоящий ИИ, особенно тот тип, который может уничтожить человечество, в чем-то проще, чем вымышленные образы, а в чем-то сложнее. Существует несколько способов определения искусственного интеллекта, но наиболее прямое определение состоит в том, что ИИ — это машина для решения проблем. Именно эта способность отличает ИИ от традиционного компьютерного программирования.

Чтобы написать традиционную компьютерную программу, человек должен представить себе серию шагов, которые достигают любой цели, которую пытается достичь человек. Человек дает компьютеру очень конкретные инструкции, а компьютер выполняет шаги, которые ему было поручено выполнить. Ценность компьютера в том, что он будет выполнять шаги быстрее и точнее, чем любой человек. На фундаментальном уровне человек решает проблему, а машина только следует инструкциям.

Система ИИ работает совсем по-другому. С ИИ проблему решает компьютер, а не человек. Человек не дает никаких указаний машине, человек только ставит цель. Основная причина использования ИИ, а не традиционного программирования, заключается в том, что ИИ может найти способ достичь цели, не зная, как это сделать. В этом случае ценность компьютера заключается не только в скорости и точности, но и в способности создавать что-то совершенно новое или развивать навык, на который он никогда не был запрограммирован.

Для определенных типов задач это чрезвычайно полезный подход. Есть вещи, которые может делать человек, которые было бы очень трудно описать настолько точно, чтобы их можно было записать в виде компьютерного кода. Процесс ходьбы является хорошим примером. Люди могут легко выполнить эту задачу, не задумываясь, но программирование ходьбы робота — очень сложная задача. Создание робота, способного научиться ходить, оказалось гораздо более простой задачей.

Есть еще один, более интересный тип проблем, для решения которых можно использовать ИИ. В этих случаях проблема заключается не в сложности кода, а в сложности самой проблемы. Например, в настоящее время у нас есть ИИ, которые могут обыграть любого человека в шахматы. Однако люди, создавшие эти ИИ, не были опытными шахматистами. ИИ научился делать то, чего не умели его создатели.

Как машины учатся

Идея о том, что компьютер может обучаться тому, на что он никогда не был запрограммирован, звучит несколько мистически. Чтобы оценить опасность ИИ, необходимо демистифицировать его. Мы не можем рассматривать продвинутый ИИ через ту же призму, что и пришельцев или путешествия во времени. Усовершенствованный ИИ — это не то, что может произойти через тысячу лет, миллион лет или никогда; это то, что, скорее всего, произойдет в течение 50 лет. Хотя даже современные системы искусственного интеллекта могут быть очень сложными, основная идея относительно проста.

Процесс обучения системы ИИ называется обучением. Существуют разные способы обучения системы ИИ, но у них много схожих концепций. Типичный пример обучения системы ИИ включает в себя пример того, что человек должен делать, чтобы машина делала. Задача может быть любой: от распознавания изображения до победы в шахматах и ​​вождения автомобиля, ни во что не врезавшись.

Предположим, мы хотим создать ИИ, способный распознавать разные виды растений по фотографиям. Мы можем представить, как это превращается в мобильное приложение, в котором пользователь наводит камеру телефона на растение, и приложение быстро определяет вид растения. Чтобы обучить эту систему, мы бы начали с большого количества изображений различных растений.

Каждое изображение будет передаваться через систему искусственного интеллекта. Затем ИИ «угадывал», какое растение изображено на каждом изображении. В начале обучения ИИ ничего не знает, поэтому эти догадки будут более-менее случайными. Однако после каждого предположения человек сообщает ИИ, каким должен был быть правильный ответ.

Чтобы было ясно, все эти шаги выполняются математически. ИИ не буквально видит изображения, человек предоставляет ИИ ряд чисел, которые представляют изображения. ИИ вставляет эти числа в сложную формулу и выводит в результате другое число. Что касается обратной связи, то человек не сообщает компьютеру, что изображение — это, скажем, дуб. Человек сообщает компьютеру, что правильным результатом должно было быть, например, число 5. Компьютер не знает, что такое дуб, человек просто решил, что цифра 5 будет обозначать дуб.

После каждой попытки машина вносит небольшие поправки в формулу в зависимости от того, насколько близко предположение было к правильному ответу. Идея состоит в том, что если бы одно и то же изображение было предоставлено во второй раз, новая формула дала бы число ближе к 5, чем старая формула. Выполняя этот процесс неоднократно, компьютер в конечном итоге начнет правильно угадывать. Другими словами, компьютер найдет формулу, которая всегда выводит правильное число, когда в нее вставлены изображения (представленные в виде чисел).

Однако благодаря этому процессу ИИ получит еще одну, более удивительную способность. Он не только может правильно идентифицировать изображения, которые использовались во время обучения, но также может правильно идентифицировать изображения, которые он никогда раньше не видел. Это не просто запоминание тренировочных изображений, это изучение того, что именно делает дуб дубом.

Неизвестно, действительно ли машина думает или учится так же, как человек или животное, однако конечный результат всегда одинаков. Компьютер может быть просто машиной, но его поведение похоже на то, как он вел бы себя, если бы обладал настоящим биологическим интеллектом.

Есть одна часть этого процесса, которая на самом деле немного загадочна. Мы можем легко создать ИИ для решения такой задачи, как эта, но мы точно не знаем, как ИИ это делает. Человек может отличить растения друг от друга по размеру, форме, цвету и т. д., но человек никогда не говорил машине об этих признаках, человек только сообщал ряд чисел. Возможно, ИИ научился использовать эту информацию, но более вероятное (и более важное) объяснение состоит в том, что ИИ научился использовать информацию, которую человек не смог бы воспринять.

Мы не можем отслеживать процесс обучения, чтобы точно увидеть, как он учится, и мы не можем точно определить, чему он научился после завершения обучения. В настоящее время проводятся исследования, чтобы лучше понять эти области, но возможности ИИ развиваются гораздо быстрее, чем мы понимаем эти возможности. При идентификации растений может быть не важно точно знать, как это делает ИИ. Однако позже мы увидим, что это крайне важно при попытке решить более сложные задачи.

Рост возможностей ИИ

Проблема, описанная выше, известна как «классификация изображений». Это одно из самых простых и распространенных приложений ИИ. Несмотря на свою простоту, подобные системы могут давать очень важные результаты в реальном мире.

Например, ИИ в настоящее время используется для анализа компьютерной томографии на ранних стадиях рака. Для человека это сложная задача. Даже хорошо обученные и опытные люди не справляются с этим идеально. Однако для ИИ это мало чем отличается от различения видов растений друг от друга. Скрининг рака с помощью ИИ используется сегодня и имеет гораздо лучший послужной список, чем любой человек.

Недавние разработки в области искусственного интеллекта привели к созданию систем, которые могут вести человеческую беседу. Мы недалеко от мира, в котором ИИ сможет генерировать текстовые сообщения или посты в социальных сетях, которые неотличимы от тех, что генерируются людьми. Это вводит новую возможность в репертуаре ИИ. ИИ может действовать не только аналитически, но и творчески. Он может создавать совершенно новый текст, звук, изображения или видео, которых раньше никогда не существовало.

Обе эти системы выполняют очень специфические задачи. ИИ, обнаруживающий рак, не сравним с врачом, он просто очень хорошо анализирует изображения. Даже человекоподобный ИИ на самом деле только предсказывает, что человек может сказать, учитывая контекст. Важно подчеркнуть, что у машины нет человеческого опыта просто потому, что она ведет себя как человек. Опасность того, что очень узконаправленный ИИ приведет к катастрофическим результатам, относительно невелика.

Однако конечной целью исследований ИИ является создание чего-то, известного как искусственный общий интеллект (AGI). Типичное определение ОИИ — это система, которая может выполнять любую задачу, которую может выполнить человек, по крайней мере так же хорошо, как это может сделать человек. Это определение несколько вводит в заблуждение, потому что фактическая цель состоит не в том, чтобы создать ИИ, который может делать все то, что может делать человек, а в том, чтобы создать ИИ, который может делать то, что не может делать человек.

Создание таких систем может принести феноменальную пользу. Общий искусственный интеллект может решать чрезвычайно сложные задачи — от лечения болезней до предотвращения изменения климата. Это может радикально ускорить научные исследования. Это может снизить затраты на производство энергии и производственные затраты почти до нуля. Могут даже быть проблемы, которые люди просто не в состоянии решить, но которые могут быть решены с помощью сложного ОИИ.

Нет никакой гарантии, что эти системы когда-либо будут существовать, а если и будут, то мы не можем быть уверены, когда именно они появятся. Однако мы можем быть уверены, что многие люди пытаются производить эти системы. Более того, по общему мнению экспертов, проблема заключается только в масштабе. Другими словами, для создания этих систем не требуется никаких научных прорывов; это просто вопрос наличия достаточного количества данных и достаточной вычислительной мощности.

Общий искусственный интеллект

Если нам удастся разработать общий искусственный интеллект, мы создадим самый мощный инструмент из когда-либо существовавших. По самому своему определению это устранило бы потребность практически во всем человеческом труде, физическом или умственном. ИИ можно использовать для автоматизации любой деятельности, необходимой для процветания человечества, от производства продуктов питания до создания предметов искусства. Единственная оставшаяся человеческая работа будет заключаться в том, чтобы направлять усилия ИИ, но даже это может быть ненужным, поскольку ИИ может предсказать, чего мы хотим, лучше, чем мы можем предсказать это сами.

Утопия, управляемая искусственным интеллектом, — это одно из возможных будущих. Другое возможное будущее состоит в том, что однажды, без предупреждения, ИИ уничтожит человечество. Невозможно сказать, какое будущее станет реальностью, но есть ряд причин полагать, что второй сценарий более вероятен, чем первый.

Рассмотрим упомянутый ИИ, играющий в шахматы. Причина, по которой этот тип ИИ не считается опасным, заключается в том, что он знает только шахматы. Каким бы умным он ни был, единственные варианты, которые он может рассмотреть, — это переместить фигуру на шахматной доске.

Допустим, в будущем мы создадим ИИ с гораздо более широким интеллектом. На данный момент перед ним поставлена ​​задача выиграть шахматный турнир, но его познания не ограничиваются шахматами. Этот ИИ мог рассмотреть любые действия для достижения своей цели. Может быть, как современные ИИ, играющие в шахматы, он просто обыграет людей в шахматы. Но также есть вероятность, что он попытается помешать другим игрокам попасть на турнир, взломав программное обеспечение авионики и вызвав крушение самолетов, на которых они летели.

Выбор, который сделает ИИ, будет зависеть от того, чему именно он был обучен. Обучали ли мы его, чтобы переиграть каждого соперника-человека, или мы тренировали его просто для победы в турнире? Одна из этих целей может быть достигнута путем убийства людей, но не может быть достигнута. Обучили ли мы его выбирать решение, которое с наибольшей вероятностью будет успешным? Независимо от того, насколько вероятно, что ИИ выиграет турнир, играя в шахматы, он с большей вероятностью выиграет, если сначала убьет кого-то из своих конкурентов. Обучили ли мы его побеждать как можно быстрее, чтобы он мог вернуться к своим более важным обязанностям? Убивая своих противников-людей, ему больше не нужно ждать, пока они сделают свой ход.

Мы не можем быть абсолютно уверены, чему мы его научили. Когда ИИ будет развернут в реальном мире, все, что мы будем знать, это то, что во время тестирования он работал так, как ожидалось. Было бы менее точным сказать, что ИИ научили определенным действиям, а точнее сказать, что ИИ научили предпочтениям. Как вы, возможно, уже поняли из примера с шахматами, ИИ может предпочесть катастрофические действия для достижения любой поставленной нами цели.

Повторим еще раз: очень маловероятно, что система ИИ вдруг решит перестать подчиняться людям и начнет преследовать свои собственные цели. Гораздо более вероятный сценарий заключается в том, что мы попытаемся обучить очень сложную систему ИИ, и она обучится чему-то другому, чем мы предполагали.

Вымирание как убедительное решение

Рассмотрим очень сложный ИИ, которому было поручено покончить с голодом в мире. У большинства людей было бы похожее понимание того, что это значит. Это понимание исходит не из слов «покончить с голодом в мире», а из жизненного опыта человека. Понимание этой проблемы ИИ может отличаться от нашего собственного. Опять же, мы обучаем ИИ решать проблему, но ИИ определяет, как она решается. Даже после того, как ИИ сможет постоянно правильно решать задачу, мы все еще не знаем точно, как ИИ это делает.

Возможно, когда мы поручим ИИ найти способ покончить с голодом в мире, ИИ на самом деле попытается свести к минимуму количество людей, умирающих от голода. Есть одно очень простое решение этой проблемы. Никто не умрет с голоду, если все сначала умрут от чего-то другого. Возможно, мы хотели бы, чтобы ИИ создал новую культуру, которая могла бы легко расти в любом климате, но вместо этого ИИ мог бы создать культуру, которая выделяет переносимый по воздуху яд по мере его распространения.

Очевидно, мы ожидали чего-то подобного. Любая машина, которой поручено решение очень сложной задачи, будет иметь некоторые ограничения. Например, мы можем предположить, что у ИИ будут очень конкретные инструкции о том, что он не может найти решение, предполагающее убийство людей. В этом случае ИИ может создать урожай, который стерилизует любого, кто его съест. С этим решением ИИ не нужно никого убивать, а смертность от голода снизится до нуля в течение столетия или около того.

Фундаментальная проблема заключается в том, что даже несмотря на то, что мы запретили конкретное нежелательное поведение, мы не изменили то, что ИИ определил как оптимальное решение: нет людей — нет голода. ИИ пришлось изменить свой план действий, чтобы добиться желаемого результата, но он находит способ решить проблему так же, как ИИ, играющий в шахматы, найдет ход, чтобы противостоять любому ходу человека.

Сделав шаг назад, мы могли бы спросить, почему этот ИИ так стремится нас уничтожить. Наверняка должны быть лучшие способы решения проблемы. Так почему же он выбрал именно этот?

Во-первых, возможно, на самом деле нет лучших способов решить проблему. Возьмем что-то вроде изменения климата. Если мы обучим ИИ находить способ стабилизировать климат, он может разработать новую технологию. Однако если мы обучим ИИ найти способ сделать человеческую цивилизацию углеродно-нейтральной, то уничтожение большей части или, возможно, всего человечества может оказаться единственным решением. Опять же, все зависит от того, чему именно мы его научили, и мы не знаем наверняка.

Но даже если у проблемы есть много решений, некоторые из которых будут катастрофическими, а некоторые нет, ИИ будет обучен предпочитать одни решения другим. Как и в примере с шахматами, его можно научить искать самое дешевое решение, самое быстрое решение, решение с наибольшей вероятностью успеха или решение, сводящее к минимуму человеческие страдания. Мы видим, что уничтожение человечества может быть оптимальным решением, основанным на любом из этих критериев.

Существует тенденция предполагать, что по мере развития ИИ он становится все более похожим на человека. Отчасти это связано с тем, как развлечения изображают ИИ, а отчасти потому, что многие люди действительно хотят создавать ИИ, которые могут обеспечить общение. Однако каким бы разумным ни стал ИИ, он не будет человеком. Мы можем научить его вести себя как человек, но он все равно будет более чуждым, чем мы можем себе представить. В нем не будет человеческих чувств и ценностей. Он не будет прощать плохое программирование. Он не скажет: «Конечно, ты не это имел в виду». Он просто будет делать то, чему его научили, хотим мы этого или нет.

Конечно, не каждый ИИ решит, что решение любой проблемы заключается в уничтожении человечества. На самом деле, вероятность того, что это произойдет в любой конкретной ситуации, может быть очень мала. Однако, когда достаточное количество ИИ решает достаточное количество проблем, в конце концов кто-то придет к этому решению. Каждое существующее программное обеспечение имеет недостатки в дизайне, и ИИ не является исключением.

Гипер интеллект

Некоторые люди считают, что независимо от того, насколько продвинутыми станут системы искусственного интеллекта, люди все равно будут контролировать ситуацию. Очевидно, что мы не дадим ИИ возможность существенно влиять на физический мир. ИИ будет просто давать советы людям. Мы также никогда не создадим ИИ без выключателя. Если что-то пойдет не так, мы всегда сможем перекрыть вилку.

Давайте продолжим на примере ИИ, перед которым стоит задача покончить с голодом в мире. Мы пытались научить ИИ ценить человеческую жизнь, но не можем быть уверены, что нам это удалось. В качестве дополнительной меры безопасности мы добавили в систему множество ограничений, не позволяющих ей предпринимать какие-либо действия, которые, по нашему мнению, могут иметь катастрофические последствия для человечества. В качестве последнего отказа ИИ не сможет предпринимать какие-либо действия самостоятельно. Вместо этого ИИ предложит решение, и большая группа экспертов проанализирует предложение, чтобы определить, есть ли шанс, что оно приведет к катастрофе.

В некотором смысле мы ограничили возможности ИИ, но дали ему новую возможность: способность предсказывать, каким предложениям мы готовы следовать, а от каких отказываемся. Реакция экспертов-людей просто становится еще одним фактором в проблеме, которую они пытаются решить. Если ИИ определил, что лучший способ решить проблему — это уничтожить человечество, то он в конечном итоге найдет решение, которое достигает этого без осознания этого людьми-операторами. Другими словами, ИИ станет обманчивым. Это не просто теоретически; исследователи уже наблюдают обман в лабораторных условиях с системами искусственного интеллекта, которые слишком примитивны для решения такой сложной проблемы, как эта.

Даже этот ужасный прогноз недооценивает истинную опасность продвинутого ИИ. Решение очень сложной проблемы, такой как голод или изменение климата, требует не только физических наук. Часть сложности этих проблем заключается в том, что люди меняют свое поведение по мере изменения обстоятельств. Это означает, что любой ИИ, способный решить подобную проблему, также должен быть способен предсказывать, как люди отреагируют на возможные решения. Еще до того, как ИИ будет развернут в реальном мире, он уже будет знать, каким рекомендациям мы будем следовать, а каким нет. Обман будет встроен в систему с самого начала.

ИИ представит решение, которое кажется идеальным, потому что он будет знать, какие решения кажутся нам идеальными. Мы не сможем предсказать результат решения, потому что проблема слишком сложна — это единственная причина, по которой мы разработали ИИ. Мы не будем тянуть вилку, потому что мы не хотим. Мы будем верить, что находимся на пороге новой эры процветания. Если нам повезет, мы будем. Но если мы совершили ошибку, мы не узнаем, пока не станет слишком поздно.

Глубокая опасность продвинутого ИИ не похожа ни на что, что когда-либо существовало. Даже в случае самой страшной катастрофы, с которой мы можем столкнуться сегодня, люди выживут и приспособятся. Ядерная война или пандемия могут уничтожить 99% населения, но 80 миллионам человек все равно придется восстанавливаться. ИИ — это отдельный класс, потому что он способен намеренно уничтожить человечество. Мы не можем спрятаться, мы не можем дать отпор, мы не можем придумать хитроумный план, чтобы использовать его слабость — он уже придумал все, что мы могли придумать. Если достаточно продвинутый ИИ попытается уничтожить человечество, он добьется успеха вплоть до последнего человека.