Интернет гудит о GPT-3, новейшей языковой модели ИИ OpenAI. Об этом сообщает Forbes. На заре общего искусственного интеллекта открываются большие возможности. Предполагая, что вы почерпнули основы из статьи Forbes, мы разберем несколько приложений, перейдя от наиболее очевидных к более тонким и глубоким идеям.

Очевидные идеи

  • Креативное письмо, написание сценария в заданных стилях.
  • Написание контента: откопайте отрывки из поисковой системы. Используйте GPT3, чтобы резюмировать, перефразировать и синтезировать их в статью.
  • Генерация отчета: например, напишите части клинических заметок с учетом стенограмм встреч с пациентами или составьте отчеты об исследованиях человеческого капитала с учетом новостей и основных показателей компании.
  • Семантический поиск: на примере OpenAI. Помогите юристам найти соответствующие законодательные акты или врачам - найти соответствующие инструкции для конкретного случая и большой справочной статьи. Google Search делал это с помощью BERT, но GPT-3 выводит возможную сложность запросов на новый уровень.

Плохие идеи

  • Выдавайте себя за другого человека, настраивая его или ее твиты, замечания ... Для комедии или злого умысла. Что-то, от чего мы должны остерегаться, например, от подделок.
  • Оружейная пропаганда: создавайте фальшивые обзоры продуктов, комментарии на форумах ... Боты в худшем случае - опасны, сродни масштабному промыванию мозгов.

Скучные идеи

  • Естественный язык запросов (NaQL, после SQL :) Мы можем задать GPT3 любой вопрос по любому документу или таблице, и мы с радостью откопаем информацию. Например, получая медицинскую справку в виде произвольного текста, вы можете указать Finetune GPT3 «перечислить текущие лекарства пациента от астмы». Обычно вам нужно проанализировать документ, чтобы извлечь сущности, классифицировать их, чтобы получить лекарства, нормализовать их до онтологии, учесть отрицания и временной контекст, а также использовать граф знаний или базу данных, чтобы определить, какие из них связаны с астмой. Для создания конвейера требуется инженер по машинному обучению, обладающий знаниями в области НЛП. Теперь (умный) старшеклассник может это сделать! Большая часть программной инженерии и науки о данных сосредоточена на (ре) структурировании данных, которые затем обрабатываются с помощью жесткой логики. GPT3 сглаживает эту жесткость, позволяя нам обучать на английском, а не программировать код. Некоторые называют это «метаинжиниринг».
  • Преобразование неструктурированных данных в структурированные формы: аналогично описанному выше. См. Демонстрацию OpenAI по автоматическому созданию сводной таблицы.
  • Синтез программ (компилятор естественного языка): см. Демонстрацию создания функциональных компонентов React из английских спецификаций.
  • Отстраняем разработчиков программного обеспечения;) Хотя, честно говоря, чем меньше кода, тем лучше.

Инфраструктура + идеи экосистемы

  • Компьютеры превратились в электричество. GPT станет вычислительной техникой - коммерческой инфраструктурой.
  • Сделайте продукт похожим на API OpenAI. Хотя сейчас еще рано. OpenAI потратил 12 миллионов долларов на обучение на огромном кластере графических процессоров, но с улучшением архитектуры объем вычислений, необходимых для достижения эквивалентной производительности, ежегодно сокращается вдвое или около того в стиле закона Мура (как признает OpenAI). Трансформаторам, которые питают GPT3, всего 3 года, и есть МНОГО оптимизации и сжатия, которые вы можете применить к плотным слоям внимания. См. Компрессионные трансформаторы и разреженные трансформаторы Google. Так что давайте подождем, пока технология созреет.
  • Создайте китайский GPT3 для быстрого приобретения Baba, Tencent или Baidu. Японская или французская версии также могут привлечь капитал.
  • Бонусные баллы: реализация на ASIC. Привет коллегам-электрикам, читающим это :) Та же логика, учитывая быстрые темпы изменения алгоритмов, я бы подождал как минимум пару лет. Но помните, как асики Bitman обналичивались при майнинге биткойнов? Так что, в конце концов, здесь может быть спектакль
  • Github для подсказок или тонко настроенных моделей: рынок подсказок для подталкивания GPT3 к выполнению различных задач или отточенных моделей для более сложных задач.

Подробное, но краткое объяснение трансформаторов, питающих GPT3, можно найти в http://www.peterbloem.nl/blog/transformers Питера Блума. Чтобы предупредить о проблемах создания GPT3 для стартапов, прочтите https://minimaxir.com/2020/07/gpt3-expectations/ Макса Вульфа.

Лично я занимаюсь прогнозным моделированием в здравоохранении, используя клинические записи и физиологические сигналы. Хотя я буду рад проконсультировать вас по любому поводу, касающемуся GPT или трансформаторов.