Лучше загружать N пакетов данных по 1 МБ (высокая частота) или 1 пакет данных X МБ (низкая частота)?
Проблема для меня в том, что синтаксический анализ и обработка данных также требуют времени, поэтому кажется, что параллельный синтаксический анализ, обработка и сохранение гигантского набора данных — не лучший подход, поскольку он приводит к высокочастотным массовым вставкам.
Скорее, синтаксический анализ и обработка должны накапливаться в большой пакет размера X, а затем отправлять (параллельную) массовую вставку этого пакета?
Это правильно? Если да, то каков рекомендуемый размер X ?