Как я могу сгенерировать неанглийское (французское, испанское, итальянское) встраивание слов из встраивания английского слова?
Каковы наилучшие способы создания высококачественного встраивания слов для неанглийских слов.
Слова могут включать (samsung-galaxy-s9)
Для неанглийских слов вы можете попробовать использовать двуязычный словарь для перевода английских слов с встраиванием векторов.
Вам нужен большой корпус для создания высококачественных вложений слов. Для неанглоязычных вам необходимо добавить двуязычные ограничения в исходную потерю w2v с вводом двуязычных корпусов.
Вы можете рассматривать сложное слово как целое слово или разделить его в соответствии с вашими приложениями.
Как я могу сгенерировать неанглийское (французское, испанское, итальянское) встраивание слов из встраивания английского слова?
Вы не можете на самом деле. Если только у вас нет слов, которые означают то же самое. Если вы знаете французские слова, обозначающие короля, королеву, женщину и мужчину, вы можете дать этим словам вложение точно такого же слова в английском языке. Они будут демонстрировать те же синтаксические и семантические свойства, что и английские слова. Но вы не можете использовать английские вложения для создания вложений для разных языков.
Каковы наилучшие способы создания высококачественного встраивания слов для неанглийских слов?
Английские слова и неанглийские слова можно рассматривать одинаково. Представьте свои неанглийские слова в виде строк/токенов и обучите модель w2v. Используйте для этого gensim. Вам придется найти огромный корпус для нужного вам языка. Затем вам придется обучать свою модель этому огромному корпусу в течение нескольких эпох. Готово. В качестве альтернативы найдите уже существующие модели на нужном вам языке.
Слова могут включать (samsung-galaxy-s9)
Если в вашем корпусе нет таких слов, как «samsung-galaxy-s9», ваша модель не будет знать, что это значит. Используйте корпус, в котором может быть больше слов в домене, для которого вы надеетесь использовать вложения.
