Любая библиотека сжатия с возможностью поиска?

Файлы xz -format поддерживают индекс, хотя по умолчанию индекс бесполезен. Мой компрессор, pixz, создает файлы, которые действительно содержат полезный индекс. Вы можете использовать функции библиотеки liblzma, чтобы найти, какой блок данных xz соответствует какому месту в несжатых данных.

для сборки сжатия с возможностью поиска на gzip есть dictzip с сервера dict и sgzip из набора сыщика

обратите внимание, что вы не можете писать ни в один из них, и, поскольку ищущий, читает любым способом

DotNetZip - это библиотека архива zip для .NET.

Используя DotNetZip, вы можете случайным образом ссылаться на определенные записи в zip-архиве и можете распаковывать их в произвольном порядке, а также можете возвращать поток, который распаковывает при извлечении записи.

Благодаря этим функциям DotNetZip использовался в реализации поставщика виртуального пути для ASP.NET, который делает именно то, что вы описываете - он обслуживает весь контент для определенного веб-сайта из сжатого файла ZIP. Вы также можете создавать веб-сайты с динамическими страницами (ASP.NET).

ASP.NET ZIP Virtual Path Provider на основе DotNetZip

Важный код выглядит так:

namespace Ionic.Zip.Web.VirtualPathProvider
{
    public class ZipFileVirtualPathProvider : System.Web.Hosting.VirtualPathProvider
    {
        ZipFile _zipFile;

        public ZipFileVirtualPathProvider (string zipFilename) : base () {
            _zipFile =  ZipFile.Read(zipFilename);
        }

        ~ZipFileVirtualPathProvider () { _zipFile.Dispose (); }

        public override bool FileExists (string virtualPath)
        {
            string zipPath = Util.ConvertVirtualPathToZipPath (virtualPath, true);
            ZipEntry zipEntry = _zipFile[zipPath];

            if (zipEntry == null)
                return false;

            return !zipEntry.IsDirectory;
        }

        public override bool DirectoryExists (string virtualDir)
        {
            string zipPath = Util.ConvertVirtualPathToZipPath (virtualDir, false);
            ZipEntry zipEntry = _zipFile[zipPath];

            if (zipEntry != null)
                return false;

            return zipEntry.IsDirectory;
        }

        public override VirtualFile GetFile (string virtualPath)
        {
            return new ZipVirtualFile (virtualPath, _zipFile);
        }

        public override VirtualDirectory GetDirectory (string virtualDir)
        {
            return new ZipVirtualDirectory (virtualDir, _zipFile);
        }

        public override string GetFileHash(string virtualPath, System.Collections.IEnumerable virtualPathDependencies)
        {
            return null;
        }

        public override System.Web.Caching.CacheDependency GetCacheDependency(String virtualPath, System.Collections.IEnumerable virtualPathDependencies, DateTime utcStart)
        {
            return null;
        }
    }
}

А VirtualFile определяется так:

namespace Ionic.Zip.Web.VirtualPathProvider
{
    class ZipVirtualFile : VirtualFile
    {
        ZipFile _zipFile;

        public ZipVirtualFile (String virtualPath, ZipFile zipFile) : base(virtualPath) {
            _zipFile = zipFile;
        }

        public override System.IO.Stream Open () 
        {
            ZipEntry entry = _zipFile[Util.ConvertVirtualPathToZipPath(base.VirtualPath,true)];
            return entry.OpenReader();
        }
    }
}

bgzf - это формат, используемый в геномике. http://biopython.org/DIST/docs/api/Bio.bgzf-module.html

Это часть библиотеки Samtools C и, на самом деле, всего лишь простой способ справиться с gzip. Вы, вероятно, можете переписать его сами, если не хотите использовать реализацию samtools C или реализацию java picard. Biopython реализует вариант Python.

Вы не указали свою ОС. Можно ли сохранить файл в сжатом каталоге, управляемом ОС? Тогда у вас будет «доступная для поиска» часть, а также сжатие. Накладные расходы ЦП будут обработаны за вас с непредсказуемым временем доступа.

К сожалению, я использую MS Windows Vista и могу отправить проводник в zip-файлы, как если бы они были обычными файлами. Предположительно он все еще работает на 7 (на которой я бы хотел быть). Думаю, я сделал это и с соответствующей утилитой на Ubuntu, но я не уверен. Полагаю, я мог бы также протестировать его на Mac OSX.

Если отдельные статьи слишком короткие для получения приличной степени сжатия, следующий по простоте подход - заморозить пакет статей Википедии - скажем, 12 статей за раз или столько статей, сколько нужно, чтобы заполнить мегабайт. Затем сжимайте каждую партию независимо.

В принципе, это дает лучшее сжатие, чем сжатие каждого изделия по отдельности, но худшее сжатие, чем твердое сжатие всех предметов вместе. Извлечение статьи № 12 из сжатого пакета требует распаковки всего пакета (а затем отбрасывания первых 11 статей), но это все равно намного, намного быстрее, чем распаковка половины Википедии.

Многие программы сжатия разбивают входной поток на последовательность «блоков» и сжимают каждый блок с нуля, независимо от других блоков. С таким же успехом вы можете выбрать размер пакета, равный размеру блока - для больших пакетов не будет лучшей степени сжатия, а распаковка займет больше времени.

Я экспериментировал с несколькими способами, которые упростили бы начало декодирования сжатой базы данных в середине. Увы, до сих пор применяемые мною «умные» методы все еще имеют худшую степень сжатия и требуют большего количества операций для создания декодированного раздела, чем гораздо более простой «пакетный» подход.

Для более сложных техник вы можете посмотреть

• MG4J: Управление гигабайтами для Java
• "Управление гигабайтами: сжатие и индексирование документов и изображений" Иэна Х. Виттена, Алистер Моффат и Тимоти С. Белл