Я ловлю себя на том, что мне все время приходится узнавать что-то новое. Я пытался придумать, как ускорить процесс изучения новых предметов. Я подумал, что было бы здорово, если бы я мог написать программу для разбора статьи в Википедии и удаления всего, кроме самой ценной информации.
Я начал с того, что взял статью из Википедии о PDF и извлек первые 100 предложений. Каждому предложению я присвоил балл в зависимости от того, насколько ценным я его считал. В итоге я создал файл в следующем формате:
<sentence>
<value>
<sentence>
<value>
etc.
Затем я проанализировал этот файл и попытался найти различные функции, которые соотносили бы каждое предложение с заданным им значением. Я только начал изучать машинное обучение, статистику и еще много чего, поэтому я много возился здесь. Это моя последняя попытка: https://github.com/JesseAldridge/Wikipedia-Summarizer/blob/master/plot_sentences.py.
Я перепробовал кучу вещей, которые, казалось, вообще не давали никакой корреляции — средняя длина слова, позиция в статье и т. д. Практически единственное, что давало какую-то полезную взаимосвязь, — это длина строки. (точнее, подсчет количества строчных букв «e» работал лучше всего). Но это кажется неубедительным, потому что кажется очевидным, что более длинные предложения содержат больше полезной информации.
В какой-то момент я подумал, что нашел несколько интересных функций, но затем, когда я попытался удалить выбросы (путем подсчета только внутренних квартилей), оказалось, что они дают худшие результаты, чем просто возвращая 0 для каждого предложения. Это заставило меня задуматься о том, сколько других вещей я могу делать неправильно... Мне также интересно, хороший ли это способ решить эту проблему.
Как вы думаете, я на правильном пути? Или это просто дурацкая затея? Есть ли явные недостатки в связанном коде? Кто-нибудь знает, как лучше подойти к проблеме суммирования статьи в Википедии? Я предпочел бы быстрое и грязное решение, чем что-то идеальное, на сборку которого уходит много времени. Любые общие советы также будут приветствоваться.
