Обновлять данные только по разнице между файлами (дельта для java)

Использование набора «событий изменения» вместо отправки всего массива

Решением этого может быть повторная отправка сериализованного объекта, описывающего изменение, а не фактического массива.

public class ChangePair implements Serializable{
    //glorified struct
    public final int index;
    public final  byte newValue;

    public ChangePair(int index, byte newValue) {
        this.index = index;
        this.newValue = newValue;
    }

    public static void main(String[] args){

        Collection<ChangePair> changes=new HashSet<ChangePair>();

        changes.add(new ChangePair(12,(byte)2));
        changes.add(new ChangePair(1206,(byte)3));

    }
}

Генерация «событий изменения»

Наиболее эффективным методом для достижения этого было бы отслеживание изменений по ходу работы, но если предположить, что это невозможно, вы можете просто пройти через грубую силу, найдя, какие значения отличаются.

public static Collection<ChangePair> generateChangeCollection(byte[] oldValues, byte[] newValues){
    //validation
    if (oldValues.length!=newValues.length){
        throw new RuntimeException("new and old arrays are differing lengths");
    }

    Collection<ChangePair> changes=new HashSet<ChangePair>();

    for(int i=0;i<oldValues.length;i++){
        if (oldValues[i]!=newValues[i]){
            //generate a change event
            changes.add(new ChangePair(i,newValues[i]));
        }
    }

    return changes;
}

Отправка и получение этих событий изменений

В соответствии с этим ответом относительно отправки сериализованных объектов через Интернет вы можете отправить свой объект, используя следующий код

Collection<ChangePair> changes=generateChangeCollection(oldValues,newValues);

Socket s = new Socket("yourhostname", 1234);
ObjectOutputStream out = new ObjectOutputStream(s.getOutputStream());
out.writeObject(objectToSend);
out.flush();

На другом конце вы получите объект

ServerSocket server = new ServerSocket(1234);
Socket s = server.accept();
ObjectInputStream in = new ObjectInputStream(s.getInputStream());
Collection<ChangePair> objectReceived = (Collection<ChangePair>) in.readObject();
//use Collection<ChangePair> to apply changes

Использование этих событий изменения

Затем эту коллекцию можно просто использовать для изменения массива байтов на другом конце.

public static void useChangeCollection(byte[] oldValues, Collection<ChangePair> changeEvents){
    for(ChangePair changePair:changeEvents){
        oldValues[changePair.index]=changePair.newValue;
    }
}   

Локально регистрируйте изменения в массиве байтов, как в небольшой системе контроля версий. На самом деле вы можете использовать VCS для создания файлов исправлений, отправки их на другую сторону и применения их для получения актуального файла;

Если вы не можете регистрировать изменения, вам нужно локально удвоить массив или (что не так на 100% безопасно) использовать массив контрольных сумм для блоков.

Основная проблема здесь — сжатие данных.

Kamikaze предлагает хорошие алгоритмы сжатия массивов данных. Он использует кодировку Simple16 и PForDelta. Simple16 — хороший и (как следует из названия) простой вариант сжатия списка. Или вы можете использовать Выполнить Длина Кодировка< /а>. Или вы можете поэкспериментировать с любым доступным алгоритмом сжатия в Java...

Итак, в итоге я использовал это:

https://code.google.com/p/xdeltaencoder/

Судя по моему тесту, работает очень хорошо. Тем не менее, вам нужно убедиться, что контрольная сумма исходного кода (в моем случае это fileAJson), так как он не делает это автоматически!

В любом случае, код ниже:

//Create delta
String[] deltaArgs = new String[]{fileAJson.getAbsolutePath(), fileBJson.getAbsolutePath(), fileDelta.getAbsolutePath()};
XDeltaEncoder.main(deltaArgs);

//Apply delta
deltaArgs = new String[]{"-d", fileAJson.getAbsolutePath(), fileDelta.getAbsolutePath(), fileBTarget.getAbsolutePath()};
XDeltaEncoder.main(deltaArgs);

//Trivia, Surpisingly this also works
deltaArgs = new String[]{"-d", fileBJson.getAbsolutePath(), fileDelta.getAbsolutePath(), fileBTarget.getAbsolutePath()};
XDeltaEncoder.main(deltaArgs);