Публикации по теме 'recurrent-neural-network'


Моделирование сложных систем на основе данных
Почти парадоксальная концепция детерминированного хаоса описывает системы, настолько чувствительные к начальным условиям, что долгосрочное прогнозирование становится невозможным. Следовательно, несмотря на то, что в динамических уравнениях нет случайности, даже малейшая ошибка в расчетах — например, ошибки в числовой точности в компьютере — приведет к тому, что будущие предсказания будут сильно ошибочными. Приложения хаотических систем варьируются от предсказания погоды, турбулентных..
Рекуррентные нейронные сети (RNN)
Рекуррентные нейронные сети очень интересны тем, что в отличие от сетей прямого распространения, в которых данные могут передаваться только в одном направлении и каждый нейрон может быть связан с одним или несколькими нейронами последующего слоя, в сетях этого типа нейроны также могут зацикливаться. сами по себе или быть связаны с нейронами предыдущего слоя. Рекуррентные сети позволяют нейронам соединяться с предыдущими слоями нейронов или с нейронами того же слоя. Эта характеристика..
Seq2Seq с Pytorch
Добро пожаловать! Это продолжение нашей мини-серии о приложениях НЛП с использованием Pytorch. В прошлом мы видели, как выполнять простые задачи NER и анализа настроений, но теперь давайте сосредоточим наше внимание на другой действительно популярной архитектуре. Вместо того, чтобы использовать одно предсказание в качестве выходных данных нашей сети, у нас будет целая последовательность! Модели Seq2seq имеют множество приложений, и языковой перевод является одним из самых известных. В..
Взлом последовательных данных: рекуррентные нейронные сети
И. Рекуррентные нейронные сети Если вы зайдете в Документы Google и наберете фразу Эта статья содержит , он попытается автоматически дополнить ваше предложение такими словами, как Эта статья содержит обзор… . За этой технологией автозавершения текста стоит архитектура глубокого обучения, называемая Рекуррентные нейронные сети (RNN). Процесс автозаполнения подпадает под широкую сферу машинного обучения, которое представляет собой постоянно растущую область, посвященную пониманию..
Написание моделей корреляции текста в Tensorflow
В этом посте мы рассмотрим, как написать модель корреляции текста с помощью рекуррентной нейронной сети (RNN) в Tensorflow. Весь код, обсуждаемый в этом посте, также доступен в виде самостоятельных и подробных блокнотов Jupyter . Этот пост можно напрямую использовать для реализации модели сиамской сети для классификации следующего высказывания . Моделирование корреляции текста Начнем с простой идеи. У нас есть список пар чисел ( скаляров ) (c, r) . У нас также есть флаг (или..
Как работают RNN и LSTM?
В моем последнем блоге о RNN я писал о LSTM и GRU. Эти единицы помогают нам с исчезающими градиентами. Давайте посмотрим, как они помогают от исчезающего градиента, а также подробно изучим работу RNN и LSTM. Существует много других решений для проблем с градиентом, таких как различные функции активации, пакетная нормализация и многое другое, но это может замедлить обучение. Мы также говорили о том, как RNN забудет первые входные данные по мере его продвижения, поскольку информация в..
Языковое моделирование с использованием рекуррентных нейронных сетей, часть - 1
Это серия из трех частей, в которых я расскажу Введение в RNN и LSTM. (Эта почта) Создание персонажа по модели языка персонажей с использованием тензорного потока . Построение пословной языковой модели с помощью Keras. Прежде всего, давайте мотивируемся изучать рекуррентные нейронные сети (RNN), зная, что они могут делать и насколько надежными, а иногда и удивительно эффективными они могут быть. Этот замечательный блог Андрея Карпати поможет вам начать работу. Языковое..