Деревья решений для классификации документов

Один из способов — иметь огромную матрицу, где каждая строка — это документ, а каждый столбец — это слово. А значения в ячейках — это количество раз, которое это слово появлялось в этом документе.

Затем, если вы имеете дело со случаем «обучения с учителем», у вас должен быть еще один столбец для классификатора, и оттуда вы можете использовать такую ​​​​команду, как «rpart» (из пакета rpart), для создания вашего дерева классификации. Команда будет вводить формулу для rpart так же, как и для линейной модели (lm).

Если вы хотите, вы также можете попробовать сначала сгруппировать свои слова в «группы слов», а затем сделать так, чтобы каждый столбец принадлежал к другой группе слов, с числом, указывающим, сколько слов в документе принадлежит к этой группе. Для этого я бы посмотрел на пакет «tm». (Если вы в конечном итоге сделаете что-то с этим, рассмотрите возможность публикации об этом здесь, чтобы мы могли извлечь из этого уроки)

Бест, Таль

В этой статье дается обзор различных методов категоризации текста и их точности. Короче говоря, вы можете классифицировать текст с помощью деревьев решений, но есть и другие алгоритмы, которые намного лучше.

Себастьяни, Ф. (2002). Машинное обучение в автоматизированной категоризации текста. Вычислительные исследования ACM, cs.IR/0110053v1. Доступно по адресу: http://arxiv.org/abs/cs.IR/0110053v1. .

Я сомневаюсь в этом - по крайней мере, как обычно определяется, дерево решений использует один критерий для указания подветви. При классификации документов вы редко можете основывать что-либо на одном критерии — вам нужно несколько критериев, и даже тогда вы не получите четкого древовидного решения, но «это немного ближе к этому, чем к другому». другое дело" вид результата.