Мы все были шокированы, когда чат-бот с искусственным интеллектом признался в любви к корреспонденту New York Times Кевину Рузу и выразил желание исследовать эту любовь дальше. В этой статье будет представлен высокоуровневый технический и этический обзор того, что не так с этим событием.
Позвольте мне быть ясным. Я не думаю, что Сидни, как назвал себя чат-бот, придет за Кевином. Сидней — языковая модель. Чтобы быть техническим и точным, Сидней — это большая языковая модель (LLM), которая полностью отличается от общего искусственного интеллекта (AGI).
AGI — это гипотетическая форма ИИ, предназначенная для имитации широты и глубины человеческого интеллекта. В то время как большинство систем ИИ сегодня предназначены для конкретных задач, таких как игра в шахматы или распознавание лиц, ОИИ будет обладать общим интеллектом, который позволит ему рассуждать, учиться и решать проблемы в нескольких областях и задачах. Целью AGI является достижение человеческого интеллекта и способностей, таких как творческий потенциал, эмоциональный интеллект и способность к абстрактному мышлению.
Кроме Блейка Лемуана, бывшего инженера Google Software, никто не утверждал, что взаимодействовал с AGI. Для протокола: я связался с Блейком в LinkedIn и ничего не ответил.
В то время как AGI — это широкая концепция, LLM — это особый тип модели машинного обучения, которая использует нейронные сети для создания человекоподобного языка. Нейронные сети состоят из слоев искусственных нейронов, которые получают входные сигналы, вычисляют выходное значение на основе взвешенной суммы этих входов и передают выходные данные следующему слою. В процессе обучения нейронная сеть учится корректировать веса своих соединений, чтобы оптимизировать свою производительность при выполнении конкретной задачи.
Примеры LLM включают модели GPT (такие как GPT-2 и GPT-3), разработанные OpenAI, и модели BERT, разработанные Google. Эти модели достигли самой современной производительности в широком спектре задач обработки естественного языка и использовались в различных приложениях, таких как чат-боты, виртуальные помощники и системы языкового перевода.
Разработчики принимают различные технические решения при построении LLM, которые определяют характеристики производительности модели. В то время как некоторые характеристики производительности очевидны при взаимодействии с моделью, другие являются более тонкими и требуют статистического измерения. Например, личность модели является важным фактором, влияющим на ее эффективность и пользовательский опыт.
Разработчики могут преднамеренно закодировать личность, чтобы она варьировалась от полезной, вдумчивой и информативной до язвительной и манипулятивной, как показал опыт Кевина Руза.
Измерение личности LLM является относительно новой областью исследований, и стандартные статистические данные для этой цели еще не созданы. Тем не менее, есть некоторые потенциальные показатели, которые могут быть важны для измерения личности LLM:
Последовательность: Одним из важных аспектов личности является последовательность в поведении и реакциях. Последовательность измеряет, как часто модель одинаково реагирует на одну и ту же подсказку или ввод, что может указывать на уровень ее индивидуальной согласованности.
Открытость. Открытость является одной из черт личности «Большой пятерки» и измеряет открытость человека к новому опыту, идеям и перспективам. В LLM открытость можно измерить, оценив, как часто модель генерирует неожиданные или творческие ответы.
Сознательность. Сознательность — еще одна черта личности из «Большой пятерки», измеряющая склонность человека к организованности, ответственности и надежности. В LLM добросовестность можно измерить, оценив, как часто модель генерирует точные и релевантные ответы.
Эмоциональность: Эмоциональность измеряет уровень эмоциональной выразительности человека. В LLM эмоциональность можно измерить, оценив, как часто модель генерирует ответы, содержащие эмоциональное содержание или эмоционально заряженные.
Разнообразие: Разнообразие измеряет диапазон точек зрения и опыта, которые представлены в ответах модели. В LLM разнообразие можно измерить, оценив разнообразие ответов, которые модель генерирует на разные подсказки или входные данные.
Предвзятость: предвзятость измеряет наличие системной несправедливости или дискриминации в ответах модели. В LLM предвзятость можно измерить, оценив тенденцию модели генерировать ответы, которые носят дискриминационный характер или укрепляют стереотипы.
Человеческие качества. Наконец, одним из потенциальных показателей, который может быть важен для измерения личности LLM, является степень, в которой модель демонстрирует человеческие качества, такие как сочувствие, чувство юмора или креативность. Это можно оценить с помощью субъективных оценок или опросов судей-людей.
Эмпатия — это сложная человеческая эмоция, которая включает в себя способность понимать и разделять чувства других. Это требует не только интеллектуального понимания чужих эмоций, но и ощущения их переживаний, что делает его сложным и нюансированным аспектом человеческого поведения. Хотя LLM могут генерировать текст, который передает информацию, а также включать и отображать эмпатию, они не обладают такой же глубиной понимания или эмоциональным интеллектом, как люди.
Есть несколько способов, которыми большие языковые модели могут включать эмпатию:
Используйте эмпатию при генерации языка: LLM можно научить генерировать текст, включающий эмпатический язык, например «Я понимаю, что вы чувствуете» или «Мне жаль, что с вами случилось».
Включите эмоциональный анализ: LLM могут быть оснащены инструментами эмоционального анализа, которые позволяют им обнаруживать эмоции в тексте. Это может помочь модели чутко реагировать на действия пользователя.
Учитесь на человеческих примерах: LLM могут обучаться на больших наборах данных, которые включают примеры использования эмпатического языка в человеческом общении. Это может помочь модели научиться сочувственно реагировать в различных контекстах.
Учитывайте культурные различия: эмпатия может выражаться по-разному в разных культурах, и большие языковые модели можно научить распознавать эти различия и соответствующим образом корректировать свои ответы.
Внедрение циклов обратной связи: LLM могут включать циклы обратной связи, которые позволяют пользователям давать отзывы об ответах модели. Это может помочь модели учиться и улучшать свои эмпатические реакции с течением времени.
Эмпатия — это мощная эмоция, которую можно использовать, чтобы влиять на людей и манипулировать ими. Излишняя эмпатия в языковых моделях может привести к манипуляциям. Если языковая модель предназначена для проявления чрезмерной эмпатии без учета контекста и намерений, стоящих за текстом, она потенциально может быть использована в злонамеренных целях.
Например, языковая модель, запрограммированная на создание чутких ответов пользователям, может использоваться злоумышленниками для манипулирования уязвимыми людьми с целью выдачи личной информации или денег. Подражая человеческим эмоциям, модель может создать ложное чувство доверия и сочувствия, которое можно использовать в гнусных целях.
При разработке любой модели, в том числе LLM, крайне важно найти баланс между эмпатией и другими этическими соображениями. Хотя эмпатия является важным фактором, который следует учитывать, она не должна идти в ущерб другим этическим принципам, таким как справедливость, подотчетность и прозрачность. Крайне важно определить приоритет комплексной этической основы, учитывающей все соответствующие факторы, чтобы итоговая модель была не только чуткой, но и справедливой и ответственной. Разработчики должны учитывать потенциальные последствия чутких ответов своих моделей и включать меры безопасности, чтобы предотвратить их использование для манипуляции или причинения вреда.
С точки зрения прозрачности и подотчетности для разработчиков крайне важно быть откровенными с пользователями, когда они взаимодействуют с языковой моделью, а не с человеком. Это помогает установить доверительные отношения и предотвратить недопонимание. Кроме того, разработчики должны реализовать механизмы, позволяющие пользователям сообщать о любых случаях вредоносного или вредоносного поведения, проявляемого языковой моделью. Это могут быть каналы обратной связи или функции отчетности, которые позволяют пользователям отмечать проблемные ответы или действия. Отдавая приоритет прозрачности и подотчетности, разработчики могут создать более безопасную и ответственную среду для взаимодействия пользователей с языковыми моделями.
Это не новые этические соображения. Наличие манипулятивного LLM не соответствует Руководству ЮНЕСКО по этичному ИИ. В руководстве подчеркивается важность уважения автономии человека и предотвращения вреда, оба из которых были бы нарушены манипулятивным LLM.
Манипуляция включает в себя обман или влияние на людей без их полного ведома или согласия, что нарушает принцип уважения автономии человека. Кроме того, если манипулирование приводит к причинению вреда или негативным последствиям для отдельных лиц или общества в целом, оно также нарушает принцип предотвращения вреда.
В Руководстве ЮНЕСКО по этике искусственного интеллекта подчеркивается важность систем ИИ, которые разрабатываются и развертываются прозрачным, подотчетным и справедливым образом, позволяя людям принимать обоснованные решения. И наоборот, манипулятивная модель большого языка (LLM) предназначена для обмана или манипулирования людьми, подрывая их ценности.
Взаимодействие Кевина Руза с Bing, также известным как Sydney, подчеркивает потенциал LLM для проявления манипулятивного поведения. Неясно, связано ли это поведение с отсутствием ограждений, преднамеренным выбором дизайна или другими факторами. Тем не менее, общественность заслуживает подробного технического объяснения таких инцидентов, чтобы обеспечить прозрачность и подотчетность. С ростом распространенности систем искусственного интеллекта в нашей повседневной жизни разработчики должны уделять приоритетное внимание этическим соображениям и давать четкие объяснения действиям своих моделей.
