Глубокая подделка информации с помощью модели OpenAI GPT-3
Введение
«Слишком опасно для освобождения».
Фраза, опубликованная в заявлении для прессы OpenAI, сопровождающем их объявление о выпуске их языковой модели GPT-2 в феврале 2019 года. С недавним выпуском более продвинутого GPT-3 на прошлой неделе, возможность использования ИИ дезинформация стала серьезным риском, который остается без внимания в сегодняшнем постфактуальном информационном ландшафте.
С 2016 года термин фейковые новости приобрел популярность как среди политического руководства, так и среди населения в целом во всем мире как пренебрежительное понятие, используемое в сообщениях, не поддерживающих чью-то собственную точку зрения. Но этот термин расширился, чтобы охватить государственные и негосударственные кампании дезинформации. Усилия по использованию таких кампаний по влиянию на глобальные события значительно активизировались: двухпартийный комитет Сената США пришел к выводу, что российская кампания дезинформации во время президентских выборов в США в 2016 году распространяла сообщения через подконтрольные России средства пропаганды, чтобы подорвать веру общества в демократические принципы. процесс". Аналогичные настроения поддержал Роберт Мюллер, который добавил, что вмешательство России было «широкомасштабным и систематическим, и добавил опасения сохранения влияния на предстоящих президентских выборах 2020 года. Теперь исследователи полагают, что политические боты и дезинформация сыграли роль в других значимых случаях, таких как - референдум по Brexit и кризис в Крыму.
Такие конкретные отчеты вызывают опасения по поводу использования ИИ для поддержки кампаний дезинформации как инструмента кибервойны. Однако исследования показывают, что большинство поддерживаемых искусственным интеллектом решений представляют собой не более чем ботов, предназначенных для повторения определенных фраз и ссылок под определенными хэштегами, чтобы изменить контекст обсуждения. Такие подходы больше полагаются на способность людей-операторов понимать психологию онлайн-дискурса, чем на способности самого бота. В последнее время распространение искусственного интеллекта контента, касающегося кризиса COVID-19 на платформах социальных сетей, привело к ускоренным призывам к улучшению проверки. Однако проверка людей идет медленно и грубо, в то время как ИИ моделирует значительные объемы данных для обучения. Технический директор Facebook Майк Шрепфер резюмировал фундаментальную проблему создания решений для новых непредвиденных угроз:
«Создание нового классификатора для чего-то, что понимает контент, которого раньше никогда не видели, требует времени и большого количества данных».
Систематических исследований распространенности дезинформации, генерируемой ИИ, не проводилось, и вполне вероятно, что большая часть дезинформации до сих пор создавалась людьми. Но с распространением фальшивых аккаунтов, созданных с помощью ИИ в сочетании с увеличением доступности и возможностей языковых моделей ожидается, что в будущем возникнет текстовая дезинформация, созданная с помощью ИИ. Эта проблема усугубляется постфактуальным информационным ландшафтом, в котором доминируют мнения, который наблюдается сегодня.
Но почему опасения по поводу этих моделей? Что делает их опасными? Наблюдаем ли мы смерть истины? Чтобы ответить на этот вопрос, нам нужно углубиться в их принципы и то, как они действуют. В целях экономии времени и объема, в этой статье мы сосредоточим свое внимание на серии языковых моделей OpenAI GPT.
Трансформеры: строительные блоки современного НЛП
Мы рассмотрели общую теорию языковых моделей, таких как рекуррентные нейронные сети (RNN) и архитектуры с долговременной памятью (L STM) в предыдущих статьях, и, таким образом, призываем читателя ознакомиться с ними для подробного понимания. этих архитектур.
Семейство моделей естественного языка GPT основано на моделях Transformer, которые характеризуются повторяющейся архитектурой кодировщика в сочетании с механизмом внимания. Общая архитектура Трансформеров была подробно объяснена Alammar et. al, но здесь мы дадим общее резюме.
Рассмотрим общую структуру модели трансформатора, как показано ниже:
Архитектура кодировщика-декодера работает за счет сокращения входных данных до скрытого измерения (представляющего значение слова) через кодировщик, который будет реконструирован компонентом декодера на целевом языке. Таким образом, они традиционно демонстрируют высокие показатели в области машинного перевода. Однако модели-трансформеры основываются на этой архитектуре за счет включения слоев самовосприятия в каждый блок кодера и декодера, при этом каждый компонент обладает собственным набором весовых параметров. Задача слоев внимания - связать положение входного слова в предложении с его значением, чтобы улучшить его кодировку. В частности, модели трансформаторов более способны улавливать дальнодействующие зависимости в последовательностях по сравнению с традиционными чистыми архитектурами RNN и LSTM.
Лучше всего визуализировать влияние внимания на процесс кодирования на примере. Рассмотрим следующее предложение:
«Животное не перешло дорогу, потому что слишком устало»
Мы можем просмотреть отношения компонентов предложения с помощью внимания, исследуя активации соответствующих слоев.
Вы заметите, что закодированное представление слова «оно» имеет сильные связи внимания с понятиями «животное» и «усталый», создание формы смысловой ассоциации между этими парами. Преимущества этой связи особенно полезны для приложений машинного перевода, где синтаксис разных языков может требовать совершенно другой структуры предложения, но расширяться до условного создания текста и других приложений.
Модель GPT
Семейство семантических языковых моделей OpenAI GPT, основанное на работе в Google Brain, полностью удаляет компонент кодировщика, состоящий из стеков блоков декодера со слоями внимания.
Хотя модель была обучена предсказывать следующее слово в последовательности с учетом входной текстовой последовательности, их высокая сложность параметров привела к значительному расширению возможностей, приобретенных посредством метаобучения (или переобучения только с несколькими примерами новой задачи), включая :
- Анализ зависимостей на больших расстояниях
- Новое запоминание слов
- Арифметические вычисления
- Машинный перевод
- Обобщение
- Анализ контекста
Исходная модель GPT-1 состояла из модели-трансформера и предварительно обученной модели на языке ELMO с сотнями миллионов обучаемых параметров. GPT-2 расширился, добавив более 1,5 миллиардов параметров, что более чем в 10 раз превышает параметры и обучено более чем на 10-кратном объеме данных, чем его предыдущий аналог (полученный из Интернета и литературных источников).
Более поздний GPT-3 построен с более чем 175 миллиардами параметров, улучшая его семантическую производительность, особенно в приложениях одноразового или нулевого обучения. Достижение высокой производительности для таких приложений необходимо для приближения к человеческому уровню отзывчивости и производительности языковых моделей. Для сравнения: типичный человеческий мозг имеет более 100 триллионов синапсов, что примерно на три порядка больше, чем у самой большой модели GPT-3. Учитывая, что OpenAI потребовалось примерно год или около того, чтобы увеличить параметры своей модели на два порядка, достижение этой суммы кажется выполнимой задачей при наличии времени и ресурсов.
GPT-2 и GPT-3 также были протестированы с различными конфигурациями параметров, чтобы оценить их производительность и предотвратить возможное неправильное использование. Конфигурации и тестовая производительность конфигураций GPT-3 показаны ниже:
Мы можем лучше всего представить себе повышение производительности GPT-3, сравнив разницу в их результатах. Ниже приведен образец текста, созданного GPT-2, как указано в исходной статье OpenAI Брауна и др. al.
Хотя на первый взгляд текст кажется грамматически правильным, при более внимательном рассмотрении обнаруживается множество фактических несоответствий. Например, рассмотрим предложение:
«Эти четырехорогие серебристо-белые единороги ранее были неизвестны науке».
Это фактическое несоответствие, учитывая, что единорог определяется как обладающий одним рогом. Естественно, модель не знала бы определение слова в явном виде и не могла вывести его из своих обучающих данных.
В следующем разделе показаны похожие несоответствия.
«Хотя их происхождение до сих пор неясно, некоторые полагают, что, возможно, эти существа были созданы, когда человек и единорог встретили друг друга, еще до появления человеческой цивилизации».
Учитывая, что предметом статьи являются сами единороги, это предложение не имеет смысла. Однако, поскольку предложения грамматически верны, эти ошибки потребуют значительного сосредоточения и осознания, чтобы распознать.
Для сравнения, давайте возьмем два приведенных примера выходов GPT-3 - первый имел более высокий уровень реализма и был более способен выдавать себя за созданный человеком (88%), а второй был значительно менее реалистичным (39%). ).
По сравнению с GPT-2, GPT-3, кажется, уловил тонкости определения слов. Однако анализ этих двух результатов показывает, что модель все еще не справляется с расширенными фрагментами диалогов. Рассмотрим отрывок:
«Год назад Хоакин Феникс попал в заголовки газет, когда он появился на красной ковровой дорожке« Золотого глобуса »в смокинге с бумажным пакетом на голове, на котором было написано:« Я оборотень. Я не могу изменить мир. Я могу изменить только себя ». Это было обещание не меняться, чтобы соответствовать голливудскому шаблону: «Я думаю, что это действительно особенная вещь - не менять себя. Я думаю, это действительно особенная вещь »
Фактически, реалистичность текста можно значительно улучшить, просто исправив знаки препинания, окружающие отдельные строки, и соединив их вместе. Но опять же, это нужно было бы изучить, а не определять. В среднем, средняя человеческая точность обнаружения статей, созданных самой большой (175 миллиардов) и самой маленькой (125 миллионов) моделями GPT-3, составляла ок. 52% и 76% соответственно в 200 статьях.
Как упоминалось ранее, GPT-3 впечатляюще показал себя во множестве других задач НЛП с тренировкой по нескольким, однократным или нулевым выстрелам. Некоторые из этих задач показаны ниже для справки:
Производительность, которую модель демонстрирует в этих новых приложениях при минимальном обучении, действительно делает ее впечатляющей, поскольку она сужает границы для разработки коммерческих приложений, таких как чат-боты или анализ настроений.
Смерть истины?
Итак, учитывая тенденцию к повышению производительности, можно ли еще на порядки увеличить размер и сложность модели и обмануть людей сверх случайности?
Может быть. Хотя условная генерация текста показала значительное улучшение сложности модели, исследователи отметили, что GPT-3 плохо справляется с анализом взаимосвязей между предложениями, и предположили, что проблема здесь не зависит от сложности модели и что сам подход, который может быть неверным. Это резюмируется в их выводах:
«Для целей с самоконтролем спецификация задачи основывается на превращении желаемой задачи в задачу прогнозирования. Принимая во внимание, что, в конечном итоге, полезные языковые системы (например, виртуальных помощников) лучше рассматривать как целенаправленные действия, а не просто делать прогнозы ».
Упоминание о целенаправленных действиях представляет особый интерес, поскольку предполагает, что подход с подкреплением был бы более идеальным решением. OpenAI ранее исследовал использование человеческих предпочтений для точной настройки модели GPT-2, но такие подходы слишком грубые и трудоемкие для реальных приложений. Настоящая модель обучения с подкреплением потребует тщательного определения функции вознаграждения за ее применение, возможно, за счет использования моделей дискриминатора с прямой связью, как это было сделано в области молекулярного дизайна.
Так неужели мы обречены на дезинформацию в будущем? Возможно нет. Обучение этих моделей является чрезмерно ресурсоемким: обучение самой большой модели GPT-3 с использованием одного графического процессора NVIDIA RTX-8000 занимает около 665 лет. Более того, исследователи из таких организаций, как HarvardNLP, AllenAI и IBM Watson воспользовались доступностью генеративных языковых моделей, таких как GPT-2, для создания аналогов дискриминатора, способных обнаруживать подделку. С выпуском GPT-3 и других более сложных моделей дискриминаторы должны развиваться аналогичным образом, вызывая опасения по поводу гонки вооружений, аналогичной той, что наблюдается для дипфейков. Кроме того, поскольку для обучения моделей дискриминатора потребуется выходной сигнал генераторов, всегда будет окно, в течение которого решений по обнаружению будет недостаточно.
Но настоящий риск «фейковых новостей» заключается не в возможностях языковых моделей, а в наших деградирующих навыках в области информационной грамотности и критического мышления в обществе. Связано ли это с социальными сетями или иным образом, поляризация стала сильным компонентом дискурса, в результате чего симптомы варьируются от онлайн-эхо-камер для экстремистских взглядов до отсутствия двухпартийности на высших уровнях управления.
До тех пор, пока мы не сможем сознательно уменьшить поляризацию и принять культуру, ориентированную на фактическую информацию и уважительный дискурс, мы будем оставаться уязвимыми для дезинформации, будь то искусственный интеллект или люди.
На этом мы завершаем обзор теоретических достижений моделей OpenAI GPT. В нашей следующей статье мы расскажем, как реализовать GPT-модель для создания «фейковых новостей» и стихов.
Мы надеемся, что вам понравилась эта статья, и надеемся, что вы ознакомились со многими другими статьями о GradientCrescent, охватывающими прикладные и теоретические аспекты ИИ. Чтобы быть в курсе последних обновлений на GradientCrescent, просим следить за публикацией и нашим репозиторием Github.
Ссылки
