Я пытаюсь использовать этот пример Crate с Common Crawl: https://github.com/crate/crate-commoncrawl Я настроил Crate и даже создал схему таблицы, следуя инструкциям из примера. Я получаю доступ к CRATE по URL-адресу:...

Мне нужно проанализировать commoncrawl. Для этого я использую Python 2.7. Я наблюдал некоторые файлы warc, в файлах warc.gz есть некоторые двоичные данные. Мне нужно разобрать исходный код html, используя bs4. Но как я могу определить, что это...

Я могу получить список для Common Crawl: https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2017-09/wet.paths.gz Как это сделать с помощью набора данных Common Crawl News? Я пробовал разные варианты, но всегда получаю ошибки:...