Творческое письмо 1010101

Нейронные сети, генерирующие текст, такие как GPT-2 OpenAI, часто вызывают вопросы об опасностях фальшивого текста: может ли машина написать текст, который убедительно, обманчиво человеческий?

Как комедийного сценариста меня больше интересует противоположный вопрос: может ли машина производить слова, которые никогда не напишет ни один человек? Может ли это помочь мне написать то, что я бы никогда не написал?

Write With Transformer - это веб-приложение, которое позволяет писать в сотрудничестве с нейронной сетью, генерирующей текст. Это демонстрация Transformers, современной библиотеки программного обеспечения, разработанной и поддерживаемой Hugging Face.

В этом посте рассматриваются основы приложения, несколько стратегий его использования в качестве писателя и некоторые более сложные элементы управления.

Основные элементы управления

Write With Transformer - это обычный текстовый редактор с одной особенностью: в любое время вы можете обратиться за предложениями в GPT-2.

Для их создания машина рассматривает все возможные следующие слова, выбирает одно из этих слов, рассматривает все возможные следующие слова после этого и повторяет их, пока не закончится время. Он делает это одновременно в трех разных местах, поэтому приходит к трем различным предложениям.

Подробнее о том, что происходит под капотом, можно прочитать здесь.

А пока вот основные команды интеллектуального ввода текста, которые необходимо знать:

  • Нажмите Tab, чтобы запросить у нейронной сети 3 предложения продолжить то, что вы написали.
  • Удерживайте нажатой Tab сколько угодно раз, чтобы запросить еще три предложения.
  • Используйте клавиши со стрелками и ввод или щелкните, чтобы выбрать один из вариантов.

Методы письма

Вот список из нескольких подходов, которые вы можете использовать при использовании Write With Transformer.

1. Слепая преданность

Чтобы исключить себя из уравнения и посмотреть, что нейронная сеть может генерировать «сама по себе», вы можете с самого начала решить, что вы всегда будете принимать первое предложение. Если вы начнете с пустой страницы, первые несколько слов могут дезориентировать, например, засыпать или просыпаться в случайном уголке Интернета ...

2. Ветвящийся путь

Ограничьте себя тремя вариантами, предоставляемыми приложением, позволяя ему рассказать вам историю о том, что было на уме в Интернете, когда собирались данные о тренировках ...

3. Команда тегов

Подскажите машину мыслью, а затем позвольте ее ответу подсказать вам. Ходите туда-сюда как соавторы или враждующие редакторы Википедии ...

4. Переписчики

Принесите знакомый текст откуда-нибудь, удалите его конец и посмотрите, как Transformer завершил бы его ...

5. Постоянные списки

Трансформеры отлично умеют собирать узоры в серии предметов. Это делает особенно интересным подсказывать им неполные списки.

Попробуйте запросить начало горизонтального списка, например:

Или начало вертикального списка, например:

6. Произвольная форма

Повторяющаяся структура списков поддается написанию преобразователя. То же самое относится к любому письму с узнаваемой последовательной структурой. Попробуйте интервью, пошаговые инструкции или придумайте свой новый формат и посмотрите, какие закономерности улавливает нейронная сеть.

Расширенные настройки

Вы можете настроить четыре параметра в левом нижнем углу приложения: Размер модели, Верхний угол, Температура и Максимальное время. .

Давайте рассмотрим каждый из них по очереди.

Размер модели

У более крупных моделей больше параметров, что примерно означает, что они могут более подробно запоминать шаблоны из своего обучающего набора. Это означает, что более крупные модели предлагают предложения, более конкретно связанные с подсказкой.

Предложения от более крупных моделей также короче. Это связано с тем, что модели работают медленнее, поэтому в пределах временного окна, установленного параметром Максимальное время (см. ниже), они могут генерировать меньше слов.

Температура

Параметр с наиболее поэтичным названием, температура, определяет, насколько авантюрный алгоритм выбирает слова. Повышение температуры делает предложения более дикими и менее предсказуемыми.

Вот типичное продолжение при низкой температуре:

А вот один при высокой температуре:

Топ-п

Этот параметр определяет, насколько широкий диапазон рассматриваемых продолжений. Установите высокий уровень, чтобы учесть все продолжения. Установите низкий уровень, чтобы просто рассмотреть возможные продолжения. Общий эффект похож на температуру, но более тонкий.

Максимальное время

Это контролирует продолжительность предложений. Модель всегда будет генерировать столько слов, сколько успеет. Чтобы попросить всего несколько слов, установите максимальное время на низкое. Для более длинных блоков предложений выберите небольшой размер модели и большое максимальное время.

Поделитесь своим письмом

Write With Transformer имеет два встроенных механизма совместного использования.

  1. Снимок экрана

Для коротких абзацев эта кнопка экспортирует документ в изображение с текстом, написанным преобразователем, выделенным полужирным шрифтом.

2. Сохранить и опубликовать

Идеально подходит для длинных документов. Эта опция дает вам ссылки, которые позволяют вам вернуться к редактированию документа позже или поделиться с друзьями, которые могут прочитать его или отредактировать дальше сами.

Например: Вот Часто задаваемые вопросы о курице, который я создал из документа, который начинался с вопроса Почему курица перешла дорогу?

3. Дублировать и редактировать

Начиная с общего документа (например, Часто задаваемые вопросы о курице), нажмите кнопку Дублировать и редактировать, чтобы сделать именно это: создать копию, которую вы можете редактировать через любой баланс между человеком и машиной, который вы выберете.

Пожалуйста, продублируйте FAQ и помогите мне узнать больше о курице.