НАУКА О ДАННЫХ | МАШИННОЕ ОБУЧЕНИЕ

Пишу стихи (плохо) с ИИ

Выходные данные из рекуррентной нейронной сети (RNN), обученной на коллективных работах Эмили Дикинсон

Недавно я обучил Рекуррентную нейронную сеть коллективным работам Эмили Дикинсон, чтобы генерировать новую поэзию.

Чтобы это произошло, я перепрофилировал демонстрацию, доступную здесь в Google Colaboratory. Если вы заглянете в блокнот, в нем документируется довольно стандартная модель прогнозирования Tensorflow.

Я использовал Полный проект стихотворений Гутенберга в качестве источника данных для обучения модели. Я скармливал модели один большой файл, но гораздо лучше было бы разбивать каждое стихотворение отдельно перед обучением.

Пример входного стихотворения

Ниже приведено настоящее стихотворение, написанное Эмили Дикинсон (одно из многих, используемых для обучающих данных).

DESIRE.

Who never wanted, — maddest joy
   Remains to him unknown:
The banquet of abstemiousness
   Surpasses that of wine.

Within its hope, though yet ungrasped
   Desire's perfect goal,
No nearer, lest reality
   Should disenthrall thy soul.

Сгенерированные стихи

Интересно отметить, что модель прогнозирует по одному символу за раз, а не целые слова, предложения или абзацы. Модель также добавляет символы возврата, знаки препинания и решает, является ли каждая буква заглавной.

(Без названия)

Smale got wot' lost the blood.
Sweec that from though moundered
And God, and-beath just are
Concomate I lest you,
    How Itemity.
Who lust it glow is tere.
The ridet his wait,
In privilener through till.
Whose badnity what it too!
That fluen the seal that?
"Revice the atte!
I failed of ancont, aganor!
Winds thou all take uthingful
Of inlit bolnow, —
But shall yet in ear,
To his these mistrancelf near,
In compentecant my little mound
Which landly guight be;
I the

OH

OH
Pungred so smides and hold!
I doon st is can to chair, abseab,
Cancelt to perches of the ais,
And you shall not have to take
And ofter donther hell
    On thou the slope would be;
If I should disappoint the eyes
That hunted take thee?
Then dinnar' revel,
Of the is lone becad.
The grass die wou nettled monnetsmy
At Lavid for your theen
Berest the heaven haughty.
It was not night that way!
Sovered solemn when the East
With such a pitely children on my father's will.

Caultions

not aftaing!
Each neighbor zoulled hours,
Araugh of surprise,
One little host in blaze below
That mast and pranor of wine.
An oper for meray'mand
    And anl yet to-day, —
Could kingdows hannot a charge
    To hel she is failed syefest
Upon a thought my dairy.
Why need insprites the strite;
'T was with I ever canchead,"
We usselves in her going;
Of, fas it Just as that deathous
    When burness to rest.
The say, I shall despaired thread, —
    A hocome to reat.
Caultions

ГАЙ ОН МАЛ

THE GAI HE MAL.
The old brighatedices chass Carved ther away
    Serappicabed to be a field,
And yet that ore the decture sea,
Some natire of lately row,
The plead is brigrion
Then the hurred strings the one
Than head I sailod that ang I
South through the streets came a fut
    Bereath the wing was so nore,
As if the room from through poats!

Ключевые выводы

  • В модели правильно размещены знаки препинания в конце строк.
  • Модель добавляет символы возврата и отступы, чтобы соответствовать стилю Эмили Дикинсон.
  • Модель использует первую букву в каждой строке с заглавной буквы.
  • В модели слово «Бог» написано с большой буквы.
  • В модели широко используются тире и точки с запятой.
  • Модель использует удивительное количество общих терминов из обучающих данных, но не была специально обучена запоминанию каких-либо слов.

Все эти идеи являются следствием стиля письма Эмили Дикинсон, а также формата текстового файла, который я предоставил. Есть связанное с этим примечание от расшифровщика:

«Как хорошо известно, стихи Эмили Дикинсон были отредактированы в этих ранних изданиях ее друзьями, чтобы лучше соответствовать традициям того времени. В частности, ее тире, часто достаточно мелкие, чтобы выглядеть как точки, превратились в запятые и точки с запятой ».

Неудивительно, что в сгенерированных стихах много тире, запятых и точек с запятой. Появились и восклицательные знаки.

Будущие улучшения

  • Модель можно обучить предсказывать целые слова / предложения или обучить правильному написанию.
  • Каждое стихотворение в обучающем файле можно разделить на отдельный документ, чтобы помочь обучить модель.
  • Модель можно научить заставлять слова на концах строк лучше рифмовать.
  • Модель можно обучить созданию стихов на определенные темы.
  • GAN может быть лучшим подходом, если полученная модель не просто воспроизводит поэзию Дикинсона 1: 1.