В настоящее время я работаю над проектом по сжатию наборов данных HDF5 и недавно начал использовать h5py. Я следовал базовым руководствам и смог открывать, создавать и сжимать файл во время его создания. Однако мне не удалось сжать существующий файл (что и является целью моей работы).
Я пробовал открывать файлы с помощью 'r+', а затем сжимать разрозненные наборы данных, но размеры файлов остались прежними.
Любые предложения о том, какие команды использовать, или я делаю что-то неправильно?
Группа HDF предоставляет набор инструментов для преобразования, отображения, анализа, редактирования и переупаковки файлов HDF5. файл.
Вы можете сжать существующий файл hdf5 с помощью утилиты h5repack. Вы также можете изменить размер чанка с помощью той же утилиты.
h5repack можно использовать из командной строки.
h5repack file1 file2 //удаляет учитываемое пространство файла 1 и сохраняет его как файл2.
h5repack -v -l CHUNK=1024 file1 file2 //Применяет фрагментацию 1024 к файлу1
h5repack -v -l CHUNK=1024 GZIP=5 file1 file2 //создает куски по 1024 и сжимает их с помощью сжатия GZIP уровня 5
h5repack --help \получает доступную справочную документацию
Также доступна Подробная документация.
Сжатие очень легко использовать в h5py. Ознакомьтесь с вики HowTo и Сжатие. В принципе, это будет что-то вроде:
ds = myfile.create_dataset('ds', shape, dtype, compression='lzf')
Есть также некоторые проблемы с тем, как вы выбираете размеры фрагментов для оптимизации размера/доступа к файлу, см. Руководство по сжатию, на которое я ссылался.
Я не помню, какое сжатие, если оно есть, включено по умолчанию.
