ChatGPT появился слишком поздно (конец ноября), чтобы оказать существенное влияние на CES в этом году, но какофония мнений о модели генеративного ИИ определенно добралась до Вегаса. Время было идеальным. Так же, как крах криптовалюты парализовал индустрию шумихи, OpenAI запустила ChatGPT в том, что теперь кажется занудной и разочаровывающей технической версией концерта Rolling Stones в Альтамонте в 69 году (с компьютерщиками в роли ангелов ада).

Не заблуждайтесь: это знаковое достижение в области машинного обучения. Возможно, это самая крупная работа со времен публикации Хинтона, Салахутдинова, Осиндеро и Теха в 2006 году об обратном распространении в глубоких нейронных сетях.

LD на GPT

ChatGPT — это версия последней большой языковой модели OpenAI (LLM), GPT-3.5, оптимизированная для общения с людьми. Насколько OpenAI был готов поделиться публично (на самом деле, немного больше, чем раньше), ChatGPT использует те же обучающие данные, что и GPT-3 (45 ТБ текста), и имеет такое же начальное количество параметров (175 миллиардов). Это примерно в 3 раза меньше, чем у двух его ближайших конкурентов, Turing NLG (Microsoft, 530 миллиардов) и PaLM (Google, 540 миллиардов), и в 100 раз больше, чем у GPT-2.

Как и все большие языковые модели, ChatGPT очень хорошо справляется с одной важной задачей: использует свой гигантский обучающий набор, чтобы угадать вероятность того, что одно слово или часть слова (токен в НЛП) будет следовать за другим. Это традиционный метод обработки естественного языка, называемый моделью N-Gram, но на стероидах T-Rex. Что делает ChatGPT уникальным и мощным, так это количество ручной (человеческой) тонкой настройки, через которую прошла эта вероятностная модель. OpenAI использовал метод под названием «Обучение с подкреплением посредством обратной связи с людьми». Проще говоря, RLHF — это метод, при котором аналитики-люди подсказывают GPT-3 и вручную «вознаграждают» (или нет) ответ в зависимости от того, насколько он «соответствует» намерениям человека. Это как учить щенка играть в футбол с полным карманом угощений. Затем другая группа людей ранжирует вознагражденные ответы от наиболее полезных до наименее полезных, создавая новый класс меток, который затем используется для повторного обучения модели. Промыть повторить. Человек в рейтинге цикла значительно улучшает «выравнивание» модели, что в машинном обучении означает, что она и точна и соответствует подсказке, области, в которой GPT-3 серьезно отсутствовал. Это также уменьшает размер модели (1,3 миллиарда параметров для InstructGPT на базе RLHF, близкого предшественника ChatGPT). Наконец, эта ручная оценка намного лучше справляется с отсеиванием токсичности в выходном тексте.

Результат впечатляет. ChatGPT может создавать связный и часто полезный текст во многих очень специфических стилях и выполнять многие задачи на естественном языке на человеческом уровне. Когда это хорошо (часто), текст машинного вывода неотличим от человеческого вывода, вероятно, поэтому индустрия образования (оправданно) сходит с ума. Когда это плохо (тоже часто), это выдает неизбежные, но фундаментальные недостатки методологии OpenAI: это гипермасштабное попугайство, а не интеллект как таковой. Но эй, это работает.

Как и его родитель, GPT-3.5, ChatGPT представляет собой смесь различных подмоделей, каждая из которых способна выполнять определенные задачи и типы человеческих знаний. Этот подход значительно улучшает качество выводимого текста для этих вариантов использования в этих доменах. Но это также означает, что он не учитывает многие другие области, задачи и типы знаний, где модель не обучалась. Отсутствие надлежащих модулей рассуждений означает, что ChatGPT не справляется с простой арифметикой или логикой, например (10 фунтов перьев легче, чем 10 фунтов стали). Он часто отвечает на вопросы грамматически правильно (высокая точность), но не имеет никакого смысла в реальном мире (низкое соответствие). Примеры см. в блоге Гэри Маркуса: https://garymarcus.substack.com/p/how-come-gpt-can-seem-so-brilliant. Это связано с тем, что модель была точно настроена на десятках тысяч человеческих ситуаций, но далеко не на всех. Поэтому, когда суфлер нажимает на модель что-то, что она была обучена понимать, она может подделывать на невиданном ранее уровне. Но когда на незнакомой территории, это эффектно терпит неудачу. Что еще более важно, ChatGPT по-прежнему является расширением той же широкой методологии глубокого обучения, которая охватывает только один аспект интеллекта: обучение на обучающих данных.

"Всем, пожалуйста, успокойтесь о ChatGPT" — Vice

Так что да, было забавно наблюдать, как техно-оптимисты и техно-пессимисты соглашаются в чем-то. Но за привлекающей внимание гиперболой о ChatGPT скрывается фундаментальная реальность технологической индустрии: следите за разработчиками, а не за комментаторами. Нет технологий без продуктов. И на наших столах гораздо менее высокотехнологичных продуктов, чем в наших подкастах. Во многих смыслах последние 6 недель технической прессы ощущались как расширенная версия трансляции Орсона Уэллса 1938 года «Война миров», за исключением уличной толпы. Нет, ChatGPT — это не общий искусственный интеллект (даже близко). Нет, это не конец Google (спасибо, у них все хорошо с ИИ). Нет, как мы слышали на выставке CES, через два года 90% контента не будет создаваться машинами. Нет, это не конец письма. Как часто мы находим истину, следуя за деньгами. А в экономике внимания есть большие деньги на истерии для технических комментаторов и их книжных агентов, не говоря уже о счастливых держателях акций OpenAI.

Вот что может произойти, помимо часов, потраченных впустую на бессмысленные посты в блоге:

1. Несколько авторов будут использовать генеративные модели искусственного интеллекта, чтобы вывести свои рабочие процессы на новый уровень. Наш самый ценный товар – это время. Те создатели, которые смогут использовать ChatGPT в своем рабочем процессе, чтобы сфокусировать свое время на основном ремесле изучения человеческих повествований более высокого уровня, выиграют эру создания дополненного контента.

2. Появятся интересные приложения. Большая часть нашего краткого общения состоит из коммерциализированных, проформальных ответов, которые мы делаем механически для проявления вежливости. К счастью, это будет автоматизировано. И в конечном итоге письменная вежливость вообще исчезнет, ​​когда станет ясно, что машины, а не люди, благодарили вас годами.

3. Игра в кошки-мышки между цифровыми маркетологами и распространителями контента перерастет в ядерную войну. Мы увидим резкое увеличение и без того подавляющего изобилия высококалорийного и низкопитательного цифрового контента (плохие твиты, предвзятые обзоры продуктов, скучные посты в Instagram), предназначенного для игры на платформах поиска и рекомендаций контента. ChatGPT усугубит эту проблему в геометрической прогрессии. И да, некоторые умные издатели ненужного контента за короткое время заработают много денег. И да, поисковым системам нужно будет приложить огромные усилия для борьбы с ними.

4. Образование будет серьезно подорвано, аллилуйя. Автоматизируя регургитацию, ChatGPT заставит образовательный сектор вступить в современную эпоху обучения детей тому, как переваривать океаны общедоступной информации для решения сложных проблем системного уровня.

5. Курирование по-прежнему будет править. И Голливуд тоже. В океане контента ценность заключается в тщательном подборе и персонализации. Время — самый ценный товар в мире, и измученные цифровые обитатели будут платить высокую цену за услугу, которая может предоставить им именно тот контент, который им нужен или который их вдохновляет. И никто не умеет отделять этот сигнал от шума лучше, чем гигантский алгоритм фильтрации талантов под названием Голливуд, который также знает то, что Силиконовая долина продолжает игнорировать: люди на самом деле ненавидят технологии.