Распаковка части файла .gz с помощью python

Мне кажется, вам нужно заглянуть в библиотеку Python zlib вместо

Формат GZIP основан на zlib, но вводит концепцию сжатия на уровне файлов вместе с проверкой CRC, и это, похоже, то, что вам не нужно/не нужно в данный момент.

См., например, эти фрагменты кода от Dough Hellman

Изменить: код на сайте Дауба Хеллмана показывает только, как сжимать или распаковывать с помощью zlib. Как указано выше, GZIP — это «zlib с конвертом», и вам нужно будет декодировать конверт перед тем, как получить сжатые zlib данные как таковые. Вот еще информация, чтобы пойти об этом, это действительно не так уж сложно:

• см. RFC 1952 для получения подробной информации о формате GZIP.
• Этот формат начинается с 10-байтового заголовка, за которым следуют необязательные несжатые элементы, такие как имя файла или комментарий, за которыми следуют данные, сжатые zlib, за которыми следует CRC-32 (точно CRC "Adler32").
• Используя модуль структуры Python, синтаксический анализ заголовка должен быть относительно простой
• Последовательность zlib (или ее первые несколько тысяч байтов, поскольку это то, что вы хотите сделать) затем можно распаковать с помощью модуля zlib python, как показано в приведенных выше примерах.
• Возможные проблемы, с которыми нужно справиться: если в архиве GZip более одного файла, и если второй файл начинается в блоке из нескольких тысяч байтов, который мы хотим распаковать.

Извините, что не предоставил ни простой процедуры, ни готового фрагмента, однако декодирование файла с приведенным выше указанием должно быть относительно быстрым и простым.

Проблема с модулем gzip не в том, что он не может распаковать частичный файл, ошибка возникает только в конце, когда он пытается проверить контрольную сумму распакованного содержимого. (Исходная контрольная сумма хранится в конце сжатого файла, поэтому проверка никогда не будет работать с частичным файлом.)

Ключ в том, чтобы заставить gzip пропустить проверку. ответ от caesar0301 делает это, изменяя исходный код gzip, но нет необходимости заходить так далеко, простое исправление обезьяны делать. Я написал этот менеджер контекста, чтобы временно заменить gzip.GzipFile._read_eof, пока я распаковываю частичный файл:

import contextlib

@contextlib.contextmanager
def patch_gzip_for_partial():
    """
    Context manager that replaces gzip.GzipFile._read_eof with a no-op.

    This is useful when decompressing partial files, something that won't
    work if GzipFile does it's checksum comparison.

    """
    _read_eof = gzip.GzipFile._read_eof
    gzip.GzipFile._read_eof = lambda *args, **kwargs: None
    yield
    gzip.GzipFile._read_eof = _read_eof

Пример использования:

from cStringIO import StringIO

with patch_gzip_for_partial():
    decompressed = gzip.GzipFile(StringIO(compressed)).read()

Я не вижу никакой возможной причины, по которой вы хотели бы распаковать первые 2000 сжатых байтов. В зависимости от данных это может распаковывать любое количество выходных байтов.

Конечно, вы хотите распаковать файл и остановиться, когда распаковаете столько файла, сколько вам нужно, например:

f = gzip.GzipFile(fileobj=open('postcode-code.tar.gz', 'rb'))
data = f.read(4000)
print data

Насколько я знаю, это не приведет к чтению всего файла. Он будет читать ровно столько, сколько необходимо для получения первых 4000 байт.

Я также сталкиваюсь с этой проблемой, когда использую свой скрипт Python для чтения сжатых файлов, сгенерированных инструментом gzip под Linux, и исходные файлы были потеряны.

Прочитав реализацию gzip.py Python, я обнаружил что gzip.GzipFile имеет аналогичные методы класса File и использует zip-модуль python для обработки распаковки/сжатия данных. В то же время также присутствует метод _read_eof() для проверки CRC каждого файла.

Но в некоторых ситуациях, например при обработке файла Stream или .gz без правильного CRC (моя проблема), _read_eof() вызовет ошибку IOError ("Проверка CRC не удалась"). Поэтому я пытаюсь изменить модуль gzip, чтобы отключить проверку CRC, и, наконец, эта проблема исчезла.

def _read_eof(self):
    pass

https://github.com/caesar0301/PcapEx/blob/master/live-scripts/gzip_mod.py

Я знаю, что это решение грубой силы, но это сэкономит много времени, чтобы переписать некоторые низкоуровневые методы с использованием zip-модуля, такие как чтение данных по частям из заархивированных файлов и извлечение данных построчно, большинство из которых было присутствует в модуле gzip.

Джамин