Java-решения для распределенных транзакций и/или данных, совместно используемых в кластере

Думал, что нашел отличную платформу Java Clustering/Distributed, хотел снова открыть это -

Оформить заказ http://www.hazelcast.com

Я запускал тестовые программы, они очень крутые, легкие и простые в использовании. Он автоматически обнаруживает элементы кластера в одноранговой конфигурации. Возможности безграничны.

Спасибо за прекрасное обобщение всех возможностей в одном месте.

Однако здесь отсутствует одна техника. Это MapReduce-Hadoop. Если проблему можно подогнать под парадигму MapReduce, то это, пожалуй, наиболее доступное решение. Мне также интересно, можно ли расширить шаблон Actor Framework (JetLang, Kilim и т. д.) на кластер.

• Не забывайте Coherence и GigaSpaces.

Не забывайте Mnesia от Erlang.

Mnesia дает вам такие вещи, как транзакции, к которым вы привыкли в обычной БД, но обеспечивает операции в реальном времени и отказоустойчивость. Кроме того, вы можете перенастроить вещи без простоев. Недостатком является то, что это резидентная база данных в памяти, поэтому вам нужно фрагментировать действительно большие таблицы. Максимальный размер таблицы 4Gb.

Хотя Oracle Coherence и многие другие предлагаемые решения хороши для обмена данными, вы упомянули только блокировку и STM как способы управления изменением состояния в распределенной среде; оба эти способа, как правило, довольно плохие для масштабирования управления состоянием. На другом сайте я недавно опубликовал следующее о том, как реализовать (например) счетчики последовательности:

Если вы смотрите на счетчик, то использование чего-то вроде Coherence EntryProcessor легко обеспечит поведение «один раз и только один раз» и высокую доступность для любого количества монотонно возрастающих последовательностей; вот вся реализация:

public class SequenceCounterProcessor
        extends AbstractProcessor
    {
    public Object process(InvocableMap.Entry entry)
        {
        long l = entry.isPresent() ? (Long) entry.getValue() + 1 : 0;
        entry.setValue(l);
        return l;
        }
    }

Ага. Вот и все. Автоматическая и бесшовная высокая доступность, эластичность динамического масштабирования, однократное поведение и т. д. Готово.

EntryProcessor — это тип распределенного замыкания, который мы представили в 2005 году.

Кроме того, в Java 8 (еще не выпущенной) проект Lambda представляет официальную поддержку закрытия в языке и стандартных библиотеках.

По сути, идея состоит в том, чтобы доставить замыкание к местоположению «владельца» данных в распределенной среде. Coherence динамически управляет владением данными с помощью динамического разделения, позволяя распределенной системе распределять нагрузку данных между различными работающими машинами и узлами. На самом деле, по умолчанию все это на 100 % автоматизировано, поэтому вы никогда не указываете, куда помещать данные или сколько данных куда направляется. Кроме того, существуют вторичные (и, возможно, третичные и т. д.) копии данных, управляемые на других узлах и других физических серверах, чтобы обеспечить высокую доступность в случае сбоя процесса или отказа сервера. Опять же, управление этими резервными копиями по умолчанию полностью автоматическое и полностью синхронное, а это означает, что система по умолчанию имеет 100% HA (т. е. без настройки).

Когда закрытие поступает к владельцу данных, оно выполняется в рабочей области транзакций, и, если операция завершается успешно, оно отправляется в резервную копию для безопасного хранения. Мутация данных (например, результат операции) становится видимой для остальной части системы только после успешного создания резервной копии.

Несколько оптимизаций к вышеизложенному включают добавление интерфейсов ExternalizableLite и PortableObject для оптимизированной сериализации и избегание сериализации упакованных длинных данных путем непосредственного перехода к форме данных, «готовой к сети»:

public Object process(InvocableMap.Entry entry)
    {
    try
        {
        BinaryEntry binentry = (BinaryEntry) entry;
        long l = entry.isPresent() ? binentry.getBinaryValue()
                .getBufferInput().readLong() + 1 : 0L;
        BinaryWriteBuffer buf = new BinaryWriteBuffer(8);
        buf.getBufferOutput().writeLong(l);
        binentry.updateBinaryValue(buf.toBinary());
        return l;
        }
    catch (IOException e)
        {
        throw new RuntimeException(e);
        }
    }

И поскольку он не имеет состояния, почему бы не подготовить экземпляр singleton?

public static final SequenceCounterProcessor INSTANCE =
        new SequenceCounterProcessor();

Использовать его из любой точки сети так же просто, как одну строку кода:

long l = (Long) sequences.invoke(x, SequenceCounterProcessor.INSTANCE);

Где «x» — любой объект или имя, идентифицирующее конкретный счетчик последовательности, который вы хотите использовать. Дополнительные сведения см. в базе знаний Coherence по адресу: http://coherence.oracle.com/.

Oracle Coherence — это распределенная система. Всякий раз, когда вы запускаете узел Coherence, он соединяется с другими уже запущенными узлами Coherence и динамически формирует эластичный кластер. Этот кластер размещает данные секционированным, высокодоступным (HA) и транзакционно согласованным образом, а также содержит операции (подобные той, что я показал выше), которые работают с этими данными «один и только один раз».

Кроме того, в дополнение к возможности вызывать любую из этих логик или получать доступ к любым данным прозрачно из любого узла Coherence, вы также можете вызывать любую из этих логик или получать доступ к любым из этих данных прозрачным образом из любого процесса в сети (при условии аутентификации). и авторизация, разумеется). Таким образом, этот код будет работать с любого узла кластера Coherence или с любого (Java/C/C++/C#/.NET) клиента:

Поясню: я работаю в Oracle. Мнения и взгляды, выраженные в этом сообщении, являются моими собственными и не обязательно отражают мнения или взгляды моего работодателя.

Возможно, вам будут полезны эти слайды. Исходя из нашего опыта, я бы порекомендовал Oracle (Tangosol) Coherence и GigaSpaces как самые мощные платформы распределения данных и обработки. В зависимости от точного характера проблемы, один из них может сиять. Терракота тоже вполне применима для решения некоторых задач.