В SubitoLabs мы работаем над очень крутым проектом по анализу сообщений в чатах. По сути, нам нужно определить какое-то ключевое слово в разговоре и какой-то рабочий процесс, чтобы понять, чего хочет пользователь. Поскольку данные представляют собой 100% пользовательский контент, мы видим как минимум 40% слов с неправильным написанием: / «not =› nnot »и т. Д. Не очень круто, если мы хотим сделать какое-то простое регулярное выражение или использовать инструмент глубокого обучения, такой..

Если вы слышали о векторах слов, вы, вероятно, знаете, что они позволяют использовать некоторый тип алгебры для слов. Так, например, vector(France) — vector(Paris) + vector(Berlin) дает ответ, наиболее близкий к слову Germany . Менее известен тот факт, что вы можете использовать ту же векторную алгебру слов для исправления орфографических ошибок. В этом посте описывается, как создать справочную таблицу, содержащую наиболее распространенные орфографические ошибки и их исправления, с..