Я делаю POC над друидом. Я загружаю данные из s3, это занимает ~ 7 минут для 289 МБ данных с конфигурациями по умолчанию. Теперь я установил maxNumConcurrentSubTasks: 2 и appendToExisting: true. Когда вы пытаетесь загрузить те же данные в druid из s3, это занимает почти столько же времени, как указано выше. Я ожидал гораздо меньшего времени, так как я не обновлял никаких данных, и я пытаюсь добавить вместо того, чтобы перезаписать все.
Я неправильно понимаю концепцию добавления в druid, а также есть ли какой-либо оптимальный способ сделать дельта-загрузку из s3? Любые зацепки будут оценены.
