Список действительно общих слов-связок, глаголов и местоимений?

Мне нужен простой список слов для фильтрации некоторых предложений. Мне нужно найти только значимые слова из предложения. Так:

In mathematics, and more specifically in graph theory, a graph is a representation of a set of objects where some pairs of objects are connected by links.

Я хочу получить это:

[mathematics, graph, theory, representation, set, objects, pairs, connected, links]

Я подумал, что действительно общий список слов поможет мне избавиться от того, что мне не нужно, но я не могу найти хороший список.

Любые идеи, где я мог бы найти такой список?


person dragostis    schedule 28.05.2014    source источник
comment
Похоже, что все эти слова являются существительными. Просто отфильтровать все артикли и предлоги, вероятно, было бы полезным шагом в вашем проекте.   -  person S.L. Barth    schedule 28.05.2014


Ответы (1)


Фильтрация глаголов, предлогов и стоп-слов должна дать желаемый результат. Вот наборы стоп-слов: http://jmlr.org/papers/volume5/lewis04a/a11-smart-stop-list/english.stop http://www.lextek.com/manuals/onix/stopwords1.html

person Daniel    schedule 29.05.2014