Чтобы продемонстрировать, почему Debezium и Delta Lake составляют интересную комбинацию, особенно для случаев использования, связанных с приложениями микросервисов и большими данными, я расскажу историю, с которой я недавно столкнулся. Пример использования клиента Один из наших клиентов рассказал мне такую ​​историю: Компания делает приложение для микросервисов Каждый из их клиентов запускает собственный экземпляр приложения вместе с собственными базами данных. Они хотят..

Когда мы хотим обучать модели машинного обучения на наборе данных, который слишком велик для одной машины, MLFlow, Spark и Delta — отличный набор инструментов. Delta гарантирует, что мы можем иметь транзакции ACID с данными, хранящимися в нашем озере данных, Spark позволяет нам запускать распределенные алгоритмы, а MLFlow помогает нам отслеживать наши эксперименты и выбирать нашу модель с наибольшей производительностью. Но не все пользователи или последующие приложения работают в этой..