Обработка языка с помощью нейронной сети
Нейронные сети позволяют обрабатывать проблемы так, как если бы они представляли собой временные ряды и последовательности.
Даже если они обеспечивают лучшую точность, все равно стоит проверить перед их внедрением, стоит ли их вычислительная стоимость улучшения по сравнению с более простыми классификаторами.
Функции
Вы должны учитывать вычислительную мощность вашего приложения, а также достаточный уровень точности, чтобы определить размер встраивания.
Архитектуры
- РНН
Это семейство нейронных сетей обрабатывает данные последовательно: каждое предсказанное слово учитывает предыдущее состояние для актуализации.
Состояние можно рассматривать как память, чтобы учитывать всю историю предсказания t.
Итак, у вас есть временной ряд, который на каждом шагу принимает в качестве входных данных наблюдение и предыдущее состояние.
- Сети с долговременной кратковременной памятью (LSTM)
LSTM может забыть некоторые прошлые наблюдения, чтобы важная информация могла быть взвешена в реальном прогнозе: ворота будут определять, насколько важны эти наблюдения, чтобы решить, следует ли записывать выходные данные или нет.
Остаточные нейронные сети
Они используются как для изображений, так и для текстов.
Это позволяет уменьшить жестокий эффект градиентного спуска, добавив в математическую функцию предыдущее состояние.
