Я классифицирую контент на основе LDA на общие темы, такие как музыка, технологии, искусство, наука.
Это процесс, который я использую,
9 тем -> Музыка, Технология, Искусство, Наука и т. Д..
9 документов -> Music.txt, Technology.txt, Arts.txt, Science.txt и т. Д.
Я заполнил каждый документ (файл .txt) примерно 10 000 строк содержания, которое я считаю "чистым" категориальным содержанием.
Затем я классифицирую тестовый документ, чтобы увидеть, насколько хорошо обучен классификатор.
Мой вопрос,
а.) Является ли это эффективным способом классификации текста (с помощью описанных выше шагов)?
б.) Где мне искать «чистый» тематический контент, чтобы заполнить каждый из этих файлов? Небольшие источники (текстовые данные> 1 ГБ)
Классификация проводится только по "общим" темам, например, по вышеприведенному