Что такое GPT-3 и почему он революционизирует искусственный интеллект?

Генеративный предварительно обученный преобразователь 3 (GPT-3) - это авторегрессивная языковая модель, которая использует глубокое обучение для создания текста, похожего на человека. Это модель прогнозирования языка третьего поколения в серии GPT-n (и преемница GPT-2), созданная OpenAI, базирующейся в Сан-Франциско искусственным интеллектом.

GPT 3 - самая мощная языковая модель из когда-либо созданных .

GPT 3 может писать стихи, переводить текст, убедительно болтать и отвечать на абстрактные вопросы. Его используют для программирования, дизайна и многого другого.

Модель имеет 175 миллиардов параметров, чтобы представить эту цифру в перспективе, ее предыдущая модель GPT 2, которая считалась современной и шокирующе массивной, когда она была выпущена в прошлом году, имела 1,5 миллиарда параметров, которые вскоре были вытеснены Nvidia Megatron с 8 миллиардами параметров, за которыми следовали Энергия Тьюринга от Microsoft, имеющая 17 миллиардов параметров, теперь открыта и меняет положение, выпустив модель, которая в 10 раз больше, чем энергия Тьюринга gpt3, широко известна своими языковыми возможностями, если ее правильно подготовил человек она может писать творческую фантастику.

Исследователи говорят, что образец GPT3 не просто близок к человеческому уровню, на самом деле они творческие, остроумные, глубокие мета и часто прекрасны, они демонстрируют способность обрабатывать абстракции, такие как стилистические пародии, написание стихов и т. Д., Они также сказали, что общение с gpt3 очень похоже на чат. с помощью человека он также может генерировать работающий код в последних новостях.

GPT3, создающий простое приложение для реагирования:

ЧТО МОЖЕТ СДЕЛАТЬ GPT-3?

Начиная с самых основ, GPT-3 расшифровывается как Generative Pre-Training Transformer 3 - это третья версия инструмента, которая будет выпущена.

Это означает, что он генерирует текст с использованием алгоритмов, которые предварительно обучены - они уже получили все данные, необходимые для выполнения их задачи. В частности, им было передано около 570 ГБ текстовой информации, собранной путем сканирования Интернета (общедоступный набор данных, известный как CommonCrawl), а также другие тексты, выбранные OpenAI, включая текст Википедии.

ЧТО ТАКОГО ОСОБЕННОСТИ GPT-3?

Модель GPT-3 может генерировать тексты длиной до 50 000 символов без присмотра. Он может даже создавать творческие художественные рассказы в шекспировском стиле в дополнение к написанию, основанному на фактах. Это первый раз, когда модель нейронной сети смогла генерировать тексты приемлемого качества, что затрудняет, если не делает невозможным, для обычного человека, был ли результат написан человеком или GPT-3.

КАК РАБОТАЕТ GPT-3?

GPT-3 - это пример так называемой языковой модели, которая представляет собой особый вид статистической программы. В данном случае она была создана как нейронная сеть.

Название GPT-3 является аббревиатурой от генеративного предварительного обучения, это уже третья версия этого термина. Он генеративен, потому что в отличие от других нейронных сетей, которые выдают числовую оценку или ответ да или нет, GPT-3 может генерировать длинные последовательности исходного текста на выходе. Он предварительно обучен в том смысле, что не был построен с использованием каких-либо знаний предметной области, хотя он может выполнять задачи, специфичные для предметной области, такие как перевод на иностранный язык.

Несколько примеров:

существительное + глагол = подлежащее + глагол

существительное + глагол + прилагательное = подлежащее + глагол + прилагательное

глагол + существительное = подлежащее + глагол

существительное + глагол + существительное = подлежащее + глагол + существительное

существительное + существительное = субъект + существительное

существительное + глагол + существительное + существительное = подлежащее + глагол + существительное + существительное

ЧТО ТАКОГО ОСОБЕННОСТИ GPT-3?

Модель GPT-3 может генерировать тексты длиной до 50 000 символов без присмотра. Он может даже создавать творческие художественные рассказы в шекспировском стиле в дополнение к написанию, основанному на фактах. Это первый случай, когда модель нейронной сети смогла генерировать тексты приемлемого качества, что затрудняет, если не делает невозможным, для обычного человека, был ли результат написан человеком или GPT-3.

На высшем e уровне обучение нейронной сети GPT-3 состоит из двух шагов.

Первый шаг требует создания словаря, различных категорий и правил производства. Это делается путем подачи в GPT-3 книг. Для каждого слова модель должна предсказать категорию, к которой принадлежит слово, а затем должно быть создано производственное правило.

Второй шаг состоит из создания словаря и правил производства для каждой категории. Это делается путем кормления модели предложениями. Для каждого предложения модель должна предсказать категорию, к которой принадлежит каждое слово, а затем должно быть создано производственное правило.

Результатом обучения являются словарный запас и правила выработки для каждой категории.

В модели также есть несколько уловок, которые позволяют улучшить ее способность генерировать тексты. Например, он может угадывать начало слова, наблюдая за контекстом слова. Он также может предсказать следующее слово, посмотрев на последнее слово предложения. Он также может предсказать длину предложения.

Хотя эти два шага и связанные с ними уловки могут показаться простыми в теории, на практике они требуют огромных вычислений. Обучение 175 миллиардов параметров в середине 2020 года стоит примерно 4,6 миллиона долларов, хотя по некоторым другим оценкам это может занять до 12 миллионов долларов в зависимости от того, как было предоставлено оборудование.

ЗАДНИЙ ПЛАН :

GTP3 разработан компанией OpenAI. OpenAI был основан Илоном Маском и Сэмом Альтманом (бывший президент Y-combinator, акселератора стартапов). OpenAI был основан с более чем миллиардом, вложенным в сотрудничество и создание искусственного интеллекта человеческого уровня на благо всего человечества.

OpenAI разрабатывает свои технологии в течение нескольких лет. Одна из первых опубликованных статей была о генеративном предварительном обучении. Идея генеративного предварительного обучения заключается в том, что, хотя большинство ИИ обучаются на помеченных данных, есть масса данных, которые не помечены. Если вы можете оценить слова и использовать их для обучения и настройки ИИ, он сможет начать создавать предсказания будущего текста на основе немаркированных данных. Вы повторяете процесс до тех пор, пока прогнозы не начнут сходиться. (источник: https: //gregraiz.com/gpt-3-demo-and-explanation/)

Исходный GPT означает Генеративное предварительное обучение, а исходный GPT использовал 7000 книг в качестве основы для обучения. Новый GPT3 обучен гораздо большему ... Фактически, он обучен на 410 миллиардах токенов, полученных от сканирования Интернета. 67 миллиардов из книг. 3 миллиарда из Википедии и многое другое. Всего это 175 миллиардов параметров и 570 ГБ отфильтрованного текста (более 45 террабайт нефильтрованного текста).

Количество вычислительных мощностей, которые использовались для предварительного обучения модели, просто поразительно. Компьютерной мощности уже больше экзафлопа. Одна секунда мощности компьютера в экзафлопсах позволит вам выполнять вычисления в секунду в течение более 37 триллионов лет.

Технология GPT3 в настоящее время находится в стадии ограниченного бета-тестирования, и разработчики раннего доступа только начинают производить демонстрации этой технологии. По мере расширения ограниченной бета-версии вы можете ожидать увидеть гораздо больше интересных и глубоких приложений этой технологии. Я верю, что это определит будущее Интернета и то, как мы будем использовать программное обеспечение и технологии. (Источник: https://gregraiz.com/gpt-3-demo-and-explanation/)

ССЫЛКИ: