Нейронные сети на наркотиках *

BERT Устранение неполадок

Мы остановились на базовой версии в корпусе с «всего» 110 миллионами параметров. После клонирования репозитория и скачивания модели начались наши неприятности. Следующие два дня мы потратили на то, чтобы подробно ознакомиться с файлами в репозитории BERT, чтобы исправить наши ошибки (к сожалению, не было сделано скриншотов сообщений об ошибках). Одна из проблем, с которой мы столкнулись, заключалась в ошибке отсутствия такого файла или каталога в файле bert_config. Интересно, что все используемые файлы находились в одном каталоге, и скрипт мог получить доступ к другим, прежде чем выдать ошибку, поэтому мы были весьма сбиты с толку. В конце концов ошибка была устранена путем присвоения BERT_BASE_DIR относительного пути вместо абсолютного. Другая ошибка, которая выскочила, жаловалась на количество классов, которые были у наших данных. Проблема заключалась в том, что BERT был настроен только для 2 классов, а в наших данных было 4. Чтобы исправить это, мы изменили метод get_labels () в run_classifier.py включить 2 дополнительных занятия. Еще одна загадочная ошибка заключалась в том, что не удалось найти Tensorflow. Оказалось, что BERT требует Tensorflow 1.15 и не будет работать с 2.0 *. К сожалению, вопросы, касающиеся ошибок BERT, и особенно их решения, редко встречаются в Интернете, поэтому их гораздо труднее преодолеть.

def get_labels(self):
"""See base class."""
    return ["0", "1", "2", "3"]. <-- one digit for each class

• выше: метод, содержащий классы BERT. Возвращаемое значение по умолчанию - «[‘ 0 ’,‘ 1 ’]» для двоичной классификации.

Обучение BERT

Наконец, BERT приступил к обучению. По пути он не предоставил много информации, только global_step / sec и example / sec. Это дало нам представление о скорости, с которой проходило обучение, но не показало прогресса. С помощью грубых расчетов мы оценили время обучения в 5 часов, что было много, но вполне приемлемо. BERT закончил тренировку в течение 20 часов, что было неожиданно. Еще более неожиданным было то, насколько плохо он был оценен на наших тестовых данных. Убыток был выше 5,0 с точностью ~ 10%. В этот момент мы были разочарованы и разочарованы. Могли ли мы сделать что-то не так до начала обучения или наши данные были настолько «неклассифицируемыми»? Даже если бы последнее было правдой, мы должны были бы получить точность около 50%. Мы подозревали, что с BERT что-то пошло не так.

#eval_results.txt
eval_accuracy = 0.14463277
eval_loss = 5.6167216
global_step = 1994  #number of batches
loss = 5.61461

Примерка перчаток, буквально…

После неудачи с BERT нам нужно было определиться с нашими дальнейшими шагами. Один из вариантов заключался в том, чтобы диагностировать, что пошло не так, и повторно обучить последний слой модели. Мы быстро отказались от этого варианта, поскольку 20-часовое обучение на нашей машине (Macbook 8 ГБ ОЗУ) сделало его невозможным в рамках данного проекта. Вместо этого мы решили использовать (гораздо) менее мощную модель классификации: одномерную сверточную сеть. Мы бы добавили к этой модели слой внедрения, предварительно обученный на 100-мерном внедрении перчатки. Это позволяет нашему классификатору идентифицировать каждое слово по позиции в 100-мерном пространстве встраивания. Слова с более высокой степенью контекстного сходства присваиваются близко друг к другу в пространстве вложения. Например, король и королева будут иметь меньшие расстояния между собой, чем скут и яблоко. Опять же, смысл использования контекстно-зависимого внедрения коренится в надеждах на получение более совершенной схемы классификации. Данные, на которых мы обучили эту модель, были разделены на несколько файлов, каждая по две строки. Это было сделано для увеличения количества образцов, которые мы могли классифицировать, что, как мы надеемся, улучшило результаты.

sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32')
embedded_sequences = embedding_layer(sequence_input)
x = Conv1D(128, 5, activation='relu')(embedded_sequences)
x = MaxPooling1D(5)(x)
x = Conv1D(128, 5, activation='relu')(x)
x = MaxPooling1D(5)(x)
x = Conv1D(128, 5, activation='relu')(x)
x = GlobalMaxPooling1D()(x)
x = Dense(128, activation='relu')(x)
preds = Dense(len(labels_index), activation='softmax')(x)
model = Model(sequence_input, preds)
model.compile(loss='categorical_crossentropy',
              optimizer='rmsprop',
              metrics=['acc'])

После обучения мы получили относительно высокую точность и низкие потери, но оценки валидации остались низкими.

Epoch 10/10
11856/11856 [==============================] - 476s 40ms/sample - loss: 0.4500 - acc: 0.8249 - val_loss: 1.4107 - val_acc: 0.5386

Мы пришли к выводу, что наш простой классификатор, который хорошо работает в контекстно-насыщенных средах, не имеет достаточно больших текстовых образцов для получения значимых результатов. В случае проблемы с обилием согласованных текстовых данных это простое решение: мы просто находим больше данных и форматируем, чтобы дольше тренироваться на больших текстовых файлах. Однако, учитывая наш ограниченный набор данных, увеличение разнообразия текстовых файлов (удлинение обучающих файлов) означало разделение нашего исходного набора данных на более крупные подфайлы. Это, в свою очередь, уменьшает количество файлов, доступных для обучения.

Тем не менее, мы применили наш обученный классификатор к тексту, сгенерированному нашими моделями, чтобы получить более впечатляющие результаты: точность классификации 25%.

Несмотря на далеко не впечатляющие результаты по классификации, мы считаем этот проект успешным. Данные, которые мы нашли на Erowid, отлично подходят для простого анализа, однако стиль отчетов был непоследовательным. Некоторые учетные записи гораздо более информативны, чем другие, они часто содержат опечатки (в конце концов, это собственные отчеты о наркотическом опыте), и в обсуждаемых темах есть несоответствия. Тем не менее, наши простые текстовые генераторы создавали тексты с приличным пониманием тона и лексики, предполагая, что каждая модель усваивала полу-отличные черты письменных отчетов для конкретной субстанции. После уточнения этих результатов мы можем применить наш классификатор к улучшенному сгенерированному тексту, уникальному для каждого вещества. Это покажет, что существуют заметные различия в языке, используемом в самоотчетах. Если вы доверяете нашим методам, есть возможность применить эти методы анализа к более крупным и согласованным наборам данных отчетов о наркотиках. Создавая текст, основанный на обобщении описаний наркотиков, мы надеемся укрепить наше понимание феноменологии этих загадочных и могущественных веществ. Если мы сможем нарисовать ясную картину на языке малой размерности того, как наркотик вызывает у человека чувства, тогда мы сможем лучше сообщить об этих эффектах для более безопасного использования и большего понимания общественностью психоактивных веществ и расширенных состояний, которые они вызывают.

Теперь, пожалуйста, насладитесь этими отрывками стихов, написанных нашими текстовыми генераторами:

«Я повел его посмотреть тропы, и следующий, казалось, имел особую концепцию восприятия и кровать к звуку, собирался попробовать это для предотвращения, и я начал разбираться во всех ситуациях и начал получать петлю наверху разговора и еще до того, как все тяжело дышит живой дорогой и дано мне, и мы больше повторяли то же самое время, что и остальная часть первого… »-LSD

«Я потратил несколько минут и подумал о своих друзьях, и я сказал, что мое тело и полностью почти кровать.» -Гриб

«Венеры, жесткие, как носок, полные части мира - с ними, где была депрессия, любая улица для некоторых от солнечного света. Меня заверили, что эффекты, которых бы не было, есть в прошлый раз. В завещание к лучшему другу начинает приходить наркотик. Там не долго, и то и другое было много действительно духовных больших киосков на несколько минут, это урод для меня. ”-MDMA

«Есть пара самых светлых, которые, казалось, держали меня, мы могли видеть, что я начинал спать и был близок к тому, чтобы волноваться, и это было маленькой реальностью, и просто сказали:« Я не мог сказать, что мы были все чувства »- Грибы

«потому что это было давление реальных людей, и все стало больше, и я был слишком занят магазином и общением о том, что мои друзья чувствовали» - каннабис

«Я не смог сделать это с моей головой, и она хотела пойти в самый любимый, и я взял меня, чтобы пойти на все время» -MDMA

«У меня был друг, который вошел мне в рот, и когда я почувствовал себя очень туманным и исчез в МДМА, я получил удовольствие от мысли о деснах, и мне пришлось погрузиться в ощущение музыки, и это почти что происходило, и я был серфинг моих друзей и идеал был больше похож на пилюлю для парня для довольного товарища, и музыка была в целом для музыки, чем для некоторых людей, у которых был кайф, они были хорошим временем для большей уверенности в нескольких вечеринках и весь доу. ”-MDMA

«Это был мир, я ванная комната, которую я думал, что они были невероятно рядом с моим прошлым контролем, одним из ее спины и чувствовал, что солнце будет одним из них, а затем я начал думать, что ванная и там кстати шли на концерт. ”-LSD

«Я взял это за руку, за которую я был с друзьями, это было неожиданное чувство, и я хочу поговорить об этом с сюрпризом, я почувствовал себя расширенным в этот момент…» -MDMA

* в редакции от 16/12/19 доступна реализация BERT, построенная с помощью tensorflow 2.0.

Этот проект был выполнен для нашего курса по искусственным нейронным сетям и глубокому обучению. Наш код можно найти на GitHub здесь.