Есть ли способ в VW сравнить модели, подходящие для LDA? Имеет ли какое-либо значение для этой цели прогрессивные потери, выдаваемые программным обеспечением?
Vowpal Wabbit LDA: выбор модели
Ответы (2)
При запуске vw -h --lda 1
справка предлагает следующие параметры. Параметр metrics
по умолчанию отключен. Он используется для вычисления согласованности темы, которая реализована здесь. а>. Попробуйте включить эту функцию, передав --metrics 1
Latent Dirichlet Allocation:
--lda arg Run lda with <int> topics
--lda_alpha arg (=0.100000001) Prior on sparsity of per-document topic
weights
--lda_rho arg (=0.100000001) Prior on sparsity of topic
distributions
--lda_D arg (=10000) Number of documents
--lda_epsilon arg (=0.00100000005) Loop convergence threshold
--minibatch arg (=1) Minibatch size, for LDA
--math-mode arg (=0) Math mode: simd, accuracy, fast-approx
--metrics arg (=0) Compute metrics
Или напрямую перейдите к исходному коду утилиты vw а>.
Полезную презентацию, демонстрирующую большинство параметров, можно найти здесь.
Python: если вы использовали gensim
(Вы отметили этот вопрос python
)
Если вы использовали оболочку Python, которая была предложена в gensim (‹ 4.0.0), вы можете просто использовать Gensim, как если бы вы обучили модель самой Gensim после использования vwmodel2ldamodel
или напрямую использовали log_perplexity
или другие меры согласованности.
Хорошее руководство по сравнению нескольких моделей LDA можно найти здесь.
В статистическом пакете R вы можете диагностировать соответствие модели с помощью такой процедуры.
Как вычислить вероятность модели LDA в vowpal wabbit
Я тоже там спрашиваю о той возможности в VW