FastText — это легкая платформа с открытым исходным кодом, которая позволяет пользователям изучать текстовые представления и классификаторы. Он работает на обычном универсальном оборудовании. Эта модель может использоваться для создания метода обучения без учителя или с учителем для получения представлений вектора слова. Этот модуль вызвал большой интерес в сообществе НЛП и может стать жизнеспособной альтернативой пакету genism, который включает векторы слов и другие функции. FastText отличается тем, что векторы слов, также известные как word2vec, принимают каждое отдельное слово как наименьшую единицу, для которой должно быть построено векторное представление, тогда как FastText считает, что слово создается n-граммами символов. Мы узнаем о работе FastText в следующем разделе.
Работа алгоритма FastText
FastText невероятно быстр в обучении векторных моделей слов. Вы можете выучить 100 миллионов слов менее чем за минуту. Обучение и тестирование моделей глубоких нейронных сетей может занять много времени. Оба этих метода используют линейный классификатор для обучения модели. FastText обучает модель с помощью иерархического классификатора. В бинарном дереве этот подход изображает метки. Каждый узел бинарного дерева обозначает вероятность. FastText строит эти деревья, используя метод Хаффмана в дополнение к иерархическому классификатору. Использование бинарного дерева сокращает время, необходимое для поиска, поскольку вам нужно просто искать узлы, а не все остальные компоненты. Следовательно, нам больше не нужно будет определять оценку для каждой альтернативной метки; вместо этого нам просто нужно определить вероятность в каждом узле на пути к одной точной метке. В результате этот метод значительно сокращает время, необходимое для обучения модели. FastText использует метод N-Gram для обучения модели.
Возьмем, к примеру, «Почтальона». Слово исследуется с помощью метода FastText, который разделяет его на компоненты n-грамм, разработанный Милколовым и др.
Почтальон = ["P", "Po", "Pos", "Post", "Postm", "Postma", "Почтальон" и т. д.].
Слово «почтальон» имеет некоторые из следующих n-грамм. Слово «почтальон» — это только один пример n-граммы, и есть много других. В этом примере мы видим, как FastText разделяет термин «Почтальон» на слова разного размера. Алгоритм FastText отмечает эти два слова и классифицирует их, поскольку мы знаем, что почтальон — это комбинация терминов post и man. Чтобы помочь модели создать семантическое сходство между словами, FastText сохраняет дополнительную информацию о подсловах. Размер n-граммы может быть настроен пользователем.
ПРЕИМУЩЕСТВА FASTTEXT
Некоторые из преимуществ FastText приведены ниже.
1. FastText также позволяет лучше встраивать уникальные или необычные слова.
2. Точность FastText остается неизменной, даже если стоп-слова остаются на месте. Вы можете выполнить базовую предварительную обработку корпуса, если хотите.
3. FastText может изучать огромные наборы данных за считанные минуты и полезен для выявления семантических сходств и категоризации текста (например, для проверки электронной почты на спам).
4. Как мы видели в приведенном выше примере, FastText сохраняет больше информации о подсловах, что помогает модели развивать семантическое сходство между словами.
5. Поскольку FastText предлагает информацию о подсловах, его можно использовать с тональными языками, такими как испанский, французский, немецкий и другие.
