TL; DR: я начал его как учебный проект, чтобы познакомиться с RNN и Tensorflow - научить нейронную сеть генерировать стихи в стиле некоторых известных авторов. Неожиданно это дало неплохой результат, и мы с моим коллегой и другом Иваном Ямщиковым спонтанно решили записать трибьют-альбом нашему любимому культовому российскому исполнителю панк-рока Егору Летову. Релиз за первую неделю собрал 300 000 слушателей и большое внимание российских СМИ и IT-сообщества.
Когда еще в 2016 году я решил окунуться в современные нейросетевые технологии, я начал с этого проекта без колебаний со стороны поэтического поколения, так как в прошлом я уже сделал несколько проектов NLG с поэзией, например, Яндекс.Автопоэт. Мой друг, мой бывший коллега Илья Едренкин дал мне несколько ценных уроков по сегодняшним технологиям нейронных сетей и несколько ссылок на онлайн-курсы и учебные пособия для начала.
Ядро проекта Neural Defense - это языковая модель, построенная как RNN на основе LSTM с некоторыми наворотами. Некоторые из важных приемов заключались в согласовании с метаинформацией, такой как автор и стихотворение. Еще одним полезным методом было использование гибридных встраиваний на основе слов и символов вместе с фонетической транскрипцией - чтобы дать сети представление о рифмах и ритме.
В целом представление каждого слова выглядело так:
Затем я использовал 130 Мб русской классической поэзии и тексты русских песен в качестве обучающих данных примерно с 400 тысячами уникальных слов. Примерно через 15 эпох он обрел определенную совместимость слов, которую можно рассматривать как своего рода морфологическую модель и стихотворные рифмы. Сеть также смогла узнать особенности отдельных авторов. Чем больше стихов данного автора было в наборе обучающих данных, тем лучше он был «представлен» сетью.
Когда я показал результаты другому своему другу, Ивану Ямщикову, он был очень взволнован и предложил записать трибьют-альбом нашему любимому культовому российскому исполнителю панк-рока Егору Летову. Иван написал и исполнил всю музыку для альбома, и мы вместе записываем голоса в его домашней студии в Лейпциге.
Вы можете послушать весь альбом в Apple Music или Google Music.
Релиз за первую неделю собрал 300 000 слушателей и значительное внимание российских медиа и IT-сообщества. Позже мы использовали ту же сеть для написания нескольких стихотворений в стиле некоторых классиков русских поэтов.
