Публикации по теме lstm

Публикации по теме 'lstm'

Краткий обзор механизма внимания

Что такое внимание? Внимание - это просто вектор, часто выходы плотного слоя с использованием функции softmax. Перед механизмом «Внимание» перевод основан на чтении всего предложения и сжатии всей информации в вектор фиксированной длины, как вы можете себе представить, предложение из сотен слов, представленных несколькими словами, обязательно приведет к потере информации, неадекватному переводу и т. Д. Однако внимание частично решает эту проблему. Это позволяет машинному переводчику..

5 методов машинного обучения для прогнозирования продаж

Сравнение линейной регрессии, случайной регрессии леса, XGBoost, LSTM и прогнозирования временных рядов ARIMA в Python Прогнозирование продаж - это распространенное и важное применение машинного обучения (ML). Прогнозы продаж можно использовать для определения контрольных показателей и определения дополнительных воздействий новых инициатив, планирования ресурсов в ответ на ожидаемый спрос и прогнозирования будущих бюджетов. В этой статье я покажу, как реализовать 5 различных моделей..

Чтение между слоями (сеть LSTM)

Использование PyTorch framework для глубокого обучения Одна из наиболее важных частей построения глубокой нейронной сети - иметь четкое представление о ваших данных, когда они проходят через слои, претерпевающие изменения в размерах, изменении формы, сглаживании и затем изменении формы ... Мы будем ссылаться на архитектуру LSTM, которую мы видели ранее в нашем учебном пособии по анализу настроений. Ссылка на статью здесь. Пошаговый анализ настроений с..

Обучаемые параметры LSTM

почему 4 (нм + п ^ 2 + п)? Архитектура ячейки LSTM Понимание количества обучаемых параметров после любого слоя очень важно. Но в случае с LSTM это довольно сложно. Расшифруем его пошагово. Вход в LSTM и его размеры: Во время прямого распространения Lstm разделяет параметры веса, поскольку он использует одинаковые веса для всех отметок времени. LSTM имеет четыре логических элемента в ячейке, тогда будет четыре соответствующих весовых матрицы. Скажем, m = входной..

Распознавание действий с использованием визуального внимания

В этой статье используется мягкое внимание для распознавания действий. В [1] для генерации подписи к изображениям предлагается обратить внимание на функцию Мягкое изображение . В этом посте представлена идея жесткого внимания . Предлагаемая идея довольно проста и понятна. Сначала отдельные видеокадры загружаются в GoogleNet для создания характеристик изображения (K x K x D). Каждое местоположение на карте характеристик K x K соответствует разному местоположению на исходном..

Более глубокое понимание NNets (часть 3) - LSTM и GRU

Рассмотрение В предыдущем посте мы вкратце говорили о RNN и обсуждали сохраняемость и повторяемость. Мы также рассмотрели проблему исчезающих / увеличивающихся градиентов и поняли, как работают двунаправленные RNN. Чтобы решить проблему исчезающих градиентов, исследователи развили уже существующую идею и улучшили фиксацию долгосрочных зависимостей, представив сети LSTM. В следующем разделе мы глубоко погрузимся в LSTM и поймем, как это привело к разработке GRU или Gated Recurrent Units...

Прогноз почасового энергопотребления PJM с использованием LSTM

Контекст PJM Interconnection LLC (PJM) — региональная передающая организация (RTO) в США. Он является частью сети Eastern Interconnection, управляющей системой электропередачи, обслуживающей все или некоторые штаты Делавэр, Иллинойс, Индиана, Кентукки, Мэриленд, Мичиган, Нью-Джерси, Северная Каролина, Огайо, Пенсильвания, Теннесси, Вирджиния, Западная Вирджиния и округ. Колумбии. Данные о почасовом потреблении энергии взяты с веб-сайта PJM и указаны в мегаваттах (МВт). С течением..