GPT-3 и все о нем
11 июня 2020 года OpenAI, исследовательская лаборатория искусственного интеллекта, расположенная в Сан-Франциско, выпустила свою последнюю версию своей системы искусственного интеллекта, которая может имитировать человеческий язык, GPT-3. Этот выпуск является продолжением модели GPT-2, выпущенной в феврале 2019 года. GPT-3 — это платформа машинного обучения, предназначенная для создания текста, похожего на человеческий. Система обучается на большом количестве текстовых данных, которые OpenAI называет «корпусом». Затем система использует этот корпус для создания нового текста, похожего на текст в корпусе. OpenAI считает, что GPT-3 может стать значительным шагом вперед в технологии искусственного интеллекта. Система спроектирована так, чтобы быть более эффективной и точной, чем предыдущие версии платформы GPT. Кроме того, GPT-3 разработан, чтобы быть более удобным для пользователя, с более простым интерфейсом, который позволяет пользователям более легко управлять системой. OpenAI выпустила демо-версию системы GPT-3, которая позволяет пользователям вводить подсказку, а затем генерировать текст на основе этой подсказки. Демонстрация включает в себя ряд различных подсказок, таких как «В чем смысл жизни?» и «Опишите синий цвет». OpenAI также выпустил документ, в котором подробно описывается система GPT-3. Документ включает результаты ряда экспериментов, проведенных для оценки производительности системы.
Приведенный выше абзац был написан GPT-3 (Generative Pre-trained Transformer 3), который точно описывает, что делает GPT-3. Хотя есть несколько незначительных грамматических ошибок, это похоже на настоящий абзац, написанный человеком. Что еще более удивительно, все заявленные факты, такие как дата выпуска GPT-2, были правдой (поищите). По сравнению с GPT-2, который мог генерировать только поддельные новостные статьи, это, безусловно, огромный шаг вперед. Более того, GPT-3 обучался на модели ИИ 2018 года, что означает, что она уже устарела, и мы могли обучать более сложные ИИ, используя новую модель, созданную с нуля. В результате он создал множество заголовков и захватил сообщество ИИ в течение первых недель после его выпуска.
Как работает GPT-3
Чтобы понять, как работает GPT-3, нам сначала нужно понять, как он обучается с помощью машинного обучения. Две основные концепции машинного обучения — контролируемое и неконтролируемое обучение. Обучение под наблюдением — это когда ИИ дается большое количество тщательно размеченных данных, которые имеют входные данные и желаемые выходные данные, а также то, как ИИ должен получить желаемый результат из ввода. Неконтролируемое обучение похоже на то, как мы учимся, когда в ИИ подается множество неразмеченных данных, и он должен выяснить, что к чему. Неконтролируемое обучение позволяет масштабировать ИИ и делает его пригодным для более общих задач.
GPT-3 работает, комбинируя и улучшая набор навыков своих предшественников, GPT-1 и GPT-2. GPT-1 закрепил модель обучения для своих преемников. В нем использовалась полуконтролируемая модель обучения, в которой обучение ИИ проходило без присмотра, а точная настройка осуществлялась под наблюдением. GPT-2 улучшил GPT-1, добавив больше наборов данных и параметров, чем GPT-1. Параметры — это значения, которые ИИ может независимо изменять в процессе обучения. В нем также были введены новые концепции, такие как обусловливание задач и обучение с нулевым выстрелом. Условие задачи позволяет GPT-2 изучать несколько задач, используя одну и ту же модель ИИ. Обучение с нулевым выстрелом является частью передачи задачи с нулевым выстрелом, и эта концепция позволяет GPT-2 учиться без примеров, и он понимает задачу, просто прочитав предоставленные инструкции. Наконец, GPT-3 поставляется с контекстным обучением, а также с настройками нескольких выстрелов, одного выстрела и нулевого выстрела. Контекстное обучение помогает GPT-3 в передаче с нулевым выстрелом, поскольку позволяет ИИ распознавать закономерности в данных. В результате, когда ИИ получают новые подсказки или инструкции, он может распознавать шаблоны из прошлого обучения и повышать производительность задачи. Настройки с несколькими, однократными и нулевыми выстрелами также являются особыми случаями передачи нулевых задач. В краткой настройке GPT-3 снабжается описанием задачи, и предполагается, что она дает как можно больше примеров. В настройке с одним выстрелом приводится только один пример, а в настройке с нулевым выстрелом примеров нет вообще. Конечно, у GPT-3 тоже было 175 миллиардов параметров, что в 100 раз больше, чем у GPT-2. В нем также было больше наборов данных и общие улучшения концепций, упомянутых в GPT-1 и GPT-2.
Как используется GPT-3
Прямо сейчас GPT-3 используется для всех видов приложений. Так как GPT-3 — это языковой ИИ, и любой может получить к нему доступ. Люди использовали GPT-3 для написания статей, эссе, обзоров, диалогов, новостных сообщений и творческого письма. Некоторые проекты, которые использовали GPT-3, понимают код в Replit, переводят сложные юридические тексты на простой английский и даже используются для создания мемов. Однако люди также могут использовать ИИ, такие как GPT-3, во зло. Например, люди могут использовать его для создания поддельных обзоров на таких сайтах, как Amazon, чтобы либо повысить репутацию своего продукта, либо снизить конкуренцию. Если вы попросите GPT-3 сделать положительный отзыв о чем-то и упомянуть некоторые из его качеств, он выдаст что-то вроде этого: «Эти баскетбольные кроссовки — первоклассные! Они сделаны из ткани нового поколения, еще более удобной и прочной, чем раньше. Кроме того, улучшенная амортизация и водонепроницаемая рукоятка помогут вам оставаться на ногах, независимо от того, что бросает вам игра». Хотя GPT-3 не прошел тест Алана Тьюринга и все еще имеет некоторые ограничения, такие как потеря связности в длинных предложениях, большинство абзацев имеют смысл, по крайней мере, на поверхностном уровне. По мере того, как ИИ, такие как GPT-3, становятся более интеллектуальными, люди должны будут иметь возможность различать, кто является человеком.
Как можно применить GPT-3 в будущем и какие проблемы он может решить
В будущем GPT-3 можно будет использовать в метавселенной и видеоиграх, где NPC (персонажи, не являющиеся игроками) могут вести осмысленные разговоры с игроками вместо того, чтобы следовать заранее определенным подсказкам. Его также можно использовать в качестве чат-ботов, которые дадут людям лучший опыт, когда они обращаются к боту за помощью. При дальнейшем обучении он потенциально мог бы даже стать своего рода учителем. Как упоминалось выше, GPT-3 может объяснять сложный код, обобщать большой текст и объяснять сложные концепции. Например, когда я попросил GPT-3 объяснить, что такое энергия синтеза, он дал следующее короткое объяснение: «Энергия синтеза — это тип энергии, возникающий при объединении атомов. Это тот же тип энергии, который питает солнце и звезды. Термоядерная энергия пока недоступна для питания домов и предприятий, но ученые работают над тем, чтобы воплотить ее в жизнь». Тогда, если вы научите ИИ анализировать и упрощать информацию в школьной программе, у вас будет почти учитель.
При большем обучении GPT-3 может помочь миру справиться с информационной перегрузкой. GPT-3 может быть встроен в поисковую систему и будет каждый день сканировать весь Интернет в поисках информации, чтобы дать несколько ответов на ваш вопрос с разных точек зрения. Тем не менее, это не без опасностей, это может позволить нашему правительству иметь полный контроль над информацией, которую мы потребляем. Например, российское правительство может просто поручить ГПТ-3 распространять пропаганду о российско-украинском конфликте. В результате, когда россияне спрашивают ГПТ-3 о конфликте, они получают ответы типа «Украинская армия разбита! Россия — победительница в этом конфликте, и украинскому народу теперь придется отвечать перед нами. Это великий день для России и черный день для Украины. Теперь мы сможем забрать у них то, что хотим, и они будут бессильны нас остановить. Да здравствует великое русское войско!» Эти сообщения, генерируемые GPT-3, показывают, что, хотя ИИ может помочь прогрессу нашего общества, мы всегда должны действовать с осторожностью.
