Нейронный машинный перевод (NMT) — это современный современный метод машинного перевода, обеспечивающий плавный перевод. Однако на модели NMT влияют проблемы с отсутствием словарного запаса (OOV) и редкими словами, что снижает качество перевода. Слова OOV — это слова, которые не встречаются в корпусе, а редкие слова — это слова, которые встречаются в корпусе очень мало раз. При переводе таких неизвестных слов эти слова заменяются токенами UNK. Следовательно, переводы становятся хуже,..

Эта история состоит из 4 частей: мотивация чисто символьных моделей, моделей подслов: байтовые парные кодировки и друзья, гибридные модели символов и слов и встраивания fastText. Эта история является кратким изложением Stanford CS224N: НЛП с глубоким обучением | Зима 2019 | Лекция 12 — Модели подслов . Эта история состоит из 4 частей: мотивация чисто символьных моделей, моделей подслов: байтовые парные кодировки и друзья, гибридные модели символов и слов и встраивания fastText. Эта..