Привет, я хотел знать, можно ли использовать деревья решений для классификации документов, и если да, то каким должно быть представление данных? Мне известно об использовании пакета R party для деревьев решений.
Деревья решений для классификации документов
Ответы (3)
Один из способов — иметь огромную матрицу, где каждая строка — это документ, а каждый столбец — это слово. А значения в ячейках — это количество раз, которое это слово появлялось в этом документе.
Затем, если вы имеете дело со случаем «обучения с учителем», у вас должен быть еще один столбец для классификатора, и оттуда вы можете использовать такую команду, как «rpart» (из пакета rpart), для создания вашего дерева классификации. Команда будет вводить формулу для rpart так же, как и для линейной модели (lm).
Если вы хотите, вы также можете попробовать сначала сгруппировать свои слова в «группы слов», а затем сделать так, чтобы каждый столбец принадлежал к другой группе слов, с числом, указывающим, сколько слов в документе принадлежит к этой группе. Для этого я бы посмотрел на пакет «tm». (Если вы в конечном итоге сделаете что-то с этим, рассмотрите возможность публикации об этом здесь, чтобы мы могли извлечь из этого уроки)
Бест, Таль
В этой статье дается обзор различных методов категоризации текста и их точности. Короче говоря, вы можете классифицировать текст с помощью деревьев решений, но есть и другие алгоритмы, которые намного лучше.
Себастьяни, Ф. (2002). Машинное обучение в автоматизированной категоризации текста. Вычислительные исследования ACM, cs.IR/0110053v1. Доступно по адресу: http://arxiv.org/abs/cs.IR/0110053v1. .
Я сомневаюсь в этом - по крайней мере, как обычно определяется, дерево решений использует один критерий для указания подветви. При классификации документов вы редко можете основывать что-либо на одном критерии — вам нужно несколько критериев, и даже тогда вы не получите четкого древовидного решения, но «это немного ближе к этому, чем к другому». другое дело" вид результата.