В Нидерландах регулярно собирается разношерстная команда технологов, художников и мечтателей, чтобы обсудить программное обеспечение, технологии и все остальное, что может однажды изменить мир. Их встреча называется Цирк программного обеспечения, и раз в год в зените проходит полномасштабное двухдневное мероприятие с большим успехом.
Дэна пригласили стать ведущим на мероприятии 2017 года. Под видом йога он использовал свое красноречие, чтобы представить говорящих. Я хотел объединить свою страсть к поэзии Beat Generation с машинным обучением, чтобы создать новый лепет из сломанных рифм.
И это не заняло много времени, прежде чем идея воплотилась в жизнь ... Дэн и я решили сопоставить его поэтическое мастерство с ускоренным графическим процессором разумом машины.
Но прежде чем мы покажем вам результат, немного о процессе с обеих сторон.
Запуск с машины
Все начинается с имени, иногда имя меняется, но как только Beatmind был произнесен… :)
Следующим был мозг, и когда дело дошло до нейронных сетей, выбор был сделан легко - это должна была быть повторяющаяся нейронная сеть. Несколько слов для объяснения:
Нейронная сеть моделируется на основе мозга животного, входные данные передаются в нейрон, нейроны располагаются слоями, сигналы, обычно от 0 до 1, передаются от одного нейрона к другому. Выходные данные последнего слоя, выходного слоя, сравниваются с ожидаемыми результатами, а затем изменяются некоторые входные данные нейрона, называемые весами. Эти веса позволяют акцентировать или не выделять другие входные данные, особенности. Обучение сети состоит в попытке найти оптимальные веса, позволяющие модели делать наилучшие прогнозы.
Глубокая нейронная сеть (DNN) имеет больше слоев между входным и выходным слоями. Эти слои называются скрытыми слоями, и они позволяют более сложное составное моделирование. DNN обычно имеют прямую связь; выходы из одного слоя нейронов передаются в следующий и так далее.
Рекуррентная нейронная сеть (RNN) позволяет направлять циклические сигналы; другими словами, выходной сигнал нейрона может быть возвращен в него самого; эта внутренняя память позволяет обрабатывать последовательности. Учтите, что когда мы о чем-то думаем, говорим о чем-то, всегда есть контекст; одна мысль переходит в следующую, один звук следует за предыдущим. Таким же образом RNN позволяют нам моделировать такие последовательности.
Но зарождающийся мозг должен учиться, а ингредиенты - примеры и время. Его примеры пришли в виде стихов Beat Generation, которые я рыскал и наскребал в сети - Гинзберг, Керуак, Берроуз, Ферлингетти и Снайдер были выдающимися влиятельными лицами и учителями. И хотя это не бит, мы можем поспорить с его влиянием, я также включил стихи Дилана Томаса - мои мысли были о том, что его красноречие, структура и словарный запас могут влиять на некоторую важную часть процесса машинного обучения.
Что касается необходимого времени, то были задействованы ускорители в виде графических процессоров, работающих в Google Cloud.
В разное время во время его обучения я собирал некоторые результаты, чтобы увидеть, как он прогрессирует:
Эпоха 0, партия 0
Все вроде бы случайно:
eado $ __ aoay a7t4oneodennteh_o iatoaih et
ай
nnda de tnoo + diotood etoeetaiiio_t + niaan
ieiaedttetio + toe + i_ naa + __ eet7ne ao toieen td + aradnQoet nenonn_de_} e в Fi + oi oda
ешь nand teodiiioeila _
+ao
Эпоха 0, пакет 100
По-прежнему случайные, но с некоторыми германскими звуками, также формат начинает напоминать стихи:
Mtalhrd Etarne
в поле
на sratts alad to tir h oannd
th oi hhd ise
s a ne o heigtasd
ilingn sttergenee anthatetheg aerde
hnat aiddde ahl rhesnnd aadisn
Эпоха 1, партия 100
Слова и… и фиксация на контроле:
Coomroo Control
Whin
Chn Control
Chntrol The Aont Crntrol The Mon Control Control был TherWolto Men Control Han
Элементы управления
Че
Контроль
T nhrol The
Контролируйте Man Tha Control Control Chontrol Than Wen Кто контролирует подбородок Whithal MoloControl Win Contred Whon
Тонна управления буксировкой
ChentControl Chinteon
Con rolt
Contons Contron Pones
Тонкий
Wontrol
Эпоха 9, пакет 200
Спустя много эпох начинает проявляться поэт:
сидеть на улице
и деревья
В носу звездные звезды на улице
Я слышал, как разбилось сердце
Поэт - Дэн Симпсон
В детстве я всегда думал, что займусь компьютером. Я до сих пор помню силу ввода команд в MS-DOS на сверхбыстром Pentium 386, который мой отец принес домой в начале 90-х. В этом определенно была поэзия: эффективность и идиосинкразии языка, изложенного черным по белому. В детстве я начал писать строки стихов, а не строки кода - хотя за обоими стоит один и тот же творческий импульс. Не зря мой первый сборник стихов называется Прикладная математика: математика, воплощенная в реальность, дает нам технологии.
Истории об интеллектуальных машинах и их взаимодействии с людьми были основным продуктом художественной литературы от фольклора до научной фантастики. По мере того, как ближайшее будущее становится настоящим, мы все чаще воспринимаем их как факт и задаем довольно фундаментальные вопросы о себе. Споры, которые ведутся десятилетиями, вращаются вокруг искусства и вычислительного творчества: может ли компьютер быть по-настоящему творческим? Что это значит, если у меня есть эмоциональная связь с искусством, созданным с помощью программного обеспечения? Кто художник: программист или машина; ни то, ни другое? Эти вопросы вдохновили меня на создание шоу Искусственная бесхитростность для Edinburgh Fringe. Спойлер: у меня нет однозначных ответов. Я исследовал историю творчества и компьютеров: Cybernetic Serendipity, RACTER, Twitter-боты - поэтому, когда меня пригласили в Software Circus, я ухватился за возможность поработать с Робертом и Beatmind.
Наблюдая за программой в действии, я сначала поразился ее скорости, а потом и остроте. Сгенерированный компьютером текст часто разрушает клише и побеждает стереотип, заново комбинируя знакомое: поэты стремятся сделать это, регулярно терпят неудачу, а иногда и преуспевают. Мне показалось, что Beatmind писал что-то вроде потока сознания и не имел метода редактирования - так что я тоже не должен. Я решил писать инстинктивно и быстро и оставил свои работы на стадии первого черновика. Однако, поскольку он создал каждое из своих стихов примерно за секунду, я никогда не смогу сравниться с Beatmind по скорости. Написание трех моих стихов заняло около часа - примерно в 1200 раз медленнее, чем у моего оппонента.
The Poetry Slam
Все это привело к ночи накануне поэтического конкурса. Это была наша первая личная встреча, Дэн, Beatmind и я сели, и Beatmind создал три оригинальные работы, которые Дэн затем забрал в свой гостиничный номер. И пока мы с Beatmind отдыхали, Дэн потратил сумерки, сочиняя свои ответы.
Момент наконец настал. Когда работа Beatmind была уже закончена, мы с Дэном, озвучивая Beatmind, вышли на сцену. Под нами несколько сотен зрителей позволили сбить себя с толку тирады и бредовые рифмы поэта против машины:
Beatmind:
Война исчезает из того же поезда
Война исчезает из того же поезда, это то же самое, что и события в окне.
душа,
кто заботился и пробовал
история судьбы,
Одна слава - сердце, цветы поющие,
Чтобы облака растянуть,
Деревья и человек были одним и тем же путем к солнцу и вьются в камни неба, это косяки из овец и
Начало,
Разбитые морем воды так взяли бонусы и облака, которые вышли на улицы
и их страхи
И ищи финишный камень,
сквозь деревья и мандолину,
Кто противостоит синему сомиту, каннор судьбам
то же самое для их мира говорят на
труп и деревья на улице и найденные в камнях радио из железной дороги слова на
угловой крест из дерева, и мир - это ее мозг, наполненный ее потрясениями, и все еще и
петь сквозь стыки камней напряженного дерева с уличным консервным банкетом, бить
это секция, и окрашенная спина камня закрывается, одетая в своего незнакомца, голодные удары по
ребенок звука,
(Деревья в стоянке у ченнинг-зеленого падают и говорят об улице и деревьях, как о могиле и
d мертвые белые души карт, огонь угол плачет в звездах,
И блестящий поток в его ритме на полу
Дэн:
Война исчезает из того же поезда
Пейзажи мелькают
кадры в киноленте
ускоренный до некоторого смысла
облака простирались по небу
цветы одобрительно кивают
мужчины исчезают, растворяются в деревьях.
Грубые оттенки зеленого:
война исчезает, когда мы отдаляемся
кровь потеряна в серости улиц
Доплеровский сдвиг от красного к синему
вода разбивается о наше безразличие.
Скрип деформированного дерева
выгоревший на солнце крест на могиле
белые души плачут в звездах.
Beatmind:
Он видел ее грудь за то, что она пела воду
И приносят камни в безумный
По хитрым дорогам
По форме это собака
Она поливала одиночные деревья
И дерьмо в его звездах толкнуло меня,
Холлинг с лун,
кто мог слышать и угрюмо душе,
Или уклончиво в безумие, в школе
И есть надежда, тихие луны времени
на улице,
кто сидел в истинном сиянии луны,
В ритме звезд
Сумасшедший,
с сиянием улицы
и клубок на плечах такой же, как у консервов в углу
Перед тем, как мир наблюдает за тем, как я провожу эти потоки
и ищет улиц и дней море -
и цепь прилавка в и на прилавке спят внезапно сыновья
На окнах видов состояний
На даче видели улицу и сантс, бидоны с мясом,
sere блоха луны, чтобы спасти его,
но он хранит, чем был рельсоррор, не видел на луне, он протянулся
мир изменился,
вечность гальденская - вечность золотая, Или Бог стоит в душе
Дэн:
Он видел ее грудь за то, что она пела воду
Полощая рот, он сочиняет песню без мелодии.
позволяя соленой воде пузыриться вокруг его горла
глядя в потолок, как будто рассматривая Уорхола.
Наклоняется, плюется, полоскает, повторяет:
что можно сделать из гипсовых узоров
поверхность изогнута кривой и линией?
Его взгляд находит собственное понимание
разум, применяющий порядок к случайным завиткам
осечка инстинкта выживания: искусство.
Передача чрезмерно чувствительных генов
приводит к странным толкованиям:
тонкий намек на обнаженную женскую форму. Классический.
Beatmind:
Секретные щелчки их квартир
Они могут назвать сказку пересекли
звезды
Страна начинается в диком сердце мира,
Сердце продано в больницах
и затем во всех прорезях камня, в тени луны,
Они могут центрировать часы - это пустота.
Напрасно
Женщина на кострах бедняков,
Чтобы бороться всю ночь
звезды в их потоках мертвой воды,
Резкие листы,
Чистая грязь в заброшенных детскими железными дорогами и следах трибун,
И деревья и разум, террато-сиденье в твердом состоянии, приносят ей на небеса, в конце концов,
цветов
в рассказе на этой улице,
с битой на подставке море-
и треки,
крайние часы и улицы маленькие черные мозги,
Раздутый на этих улицах и деревьях,
кто осмеливается сказать
подсчитать
улица, дрожа в станцию воды, она везет через трещину лун
Я вижу его лошадей и запечатываю дерьмо и тени,
Только люди на улицах и в задней части, и говорят, и говорят за нее,
и таким образом они выветриваются от
мир холоден,
Дэн:
Секретные щелчки их квартир
Они встречаются на пляже, когда полностью уходит отлив
песок ровный, как какой-то инопланетный пейзаж
их следы нарушают плоскость поверхности
временные доказательства их деятельности
быстро заполняется скрыто-впитанной водой.
Они встречаются и отрываются от своих следов
видеть друг друга и улыбаться
как будто это начало истории
или загадка:
зная и с нетерпением.
Они встречаются глазами и намеренно
с улыбками и морщинистыми носами
смеется и вздыхает.
Прилив неизбежно
и они тоже:
вдали от другого
и идти своим путем
расставание.
Заключительная мысль
Возможно, пройдет еще какое-то время, прежде чем больше машинных умов сопоставят свои наблюдения с нашими проницательными поэтами, но что касается этого начинания, мы получили огромное удовольствие и с нетерпением ждем следующей встречи.
Особая благодарность
Мэтту Фейгалу за совместное изучение идеи.
Мартину Горнеру за его отличные руководства по RNN. Отметьте this, если хотите научиться создавать их самостоятельно.
Всей команде Software Circus за то, что они поверили в эту безумную идею и предоставили нам такую замечательную платформу.
