Сегодня, 15.03.2018, я понял, что пройдет много времени, прежде чем я добьюсь количества твитов, которого, как мне кажется, будет достаточно для обучения алгоритма НЛП. Время от времени я получал пакеты до 200 твитов, классифицировал их один за другим и сохранял в базе данных.
Теперь я написал скрипт, который запускался каждые 30 минут локально на моем ноутбуке, чтобы получить до 200 твитов и сохранить их в базе данных без их классификации. Сразу после того, как я соберу все твиты, которые, по моему мнению, необходимы, я буду классифицировать один за другим. Я думаю, что таким образом извлечение данных будет более эффективным.
Скрипт был написан на Python, и я использую Crontab для его запуска каждые 30 минут.
Пожалуйста, проверьте мой репозиторий GitHub, чтобы увидеть скрипт и конфигурацию crontab.
Надеюсь, скоро увидимся!
Спасибо за чтение!
ФОРТЕ АБРАЧО!!!
