Я реализовал инструмент классификации документов с помощью Mallet, который классифицирует каждую страницу документа по определенным категориям. Я тоже пробовал Weka, но Маллет умнее Weka в этом аспекте. Мой подход следующий:
- Обучить страницы документа известной категории
- Протестируйте несколько образцов документов, идентифицирует ли Маллет страницы определенной категории или нет. Здесь Mallet соответствует набору тестов с известными категориями.
- если тест прошел успешно и удовлетворительно, запустите его в огромном репозитории документов, используя классификатор и файл молотка.
Эта часть уже реализована с хорошим уровнем успеха.
Для текстовых документов, которые я не обучал и которые отличаются от известных категорий, должно быть возвращено НЕТ совпадения, Маллет пытается найти совпадение из обучающего набора для документов, которые не известны Маллету.
Например, у меня есть 4 страницы в документе. Страница 1 принадлежит классу A, страница 3 принадлежит классу B. Страницы 2 и 4 не принадлежат ни к одному из классов. Как пометить страницы 2 и 4 как «НЕ СОВПАДЕНИЕ» через Mallet?
Пожалуйста, помогите мне достичь этого. Дайте мне знать, если я делаю что-то не так, или любой другой инструмент, который может дать мне желаемый результат.