Я создал секционированную базу данных, которая получает данные из ежедневно хранимых файлов. Это работает нормально, но я беспокоюсь, что kdb может добавить повторяющиеся строки, если я дважды запущу сценарий раздела с файлами одного дня.
Должен ли я использовать «ключ» для проверки существования секционированных таблиц или есть более простой способ гарантировать, что kdb не будет дублировать сохраненные данные?
Я не уверен, что ваша проблема в том, что 1) вы боитесь загрузить один и тот же файл более одного раза или 2) несколько файлов могут содержать одни и те же данные, поэтому вы не хотите, чтобы последующие загрузки создавали дубликаты.
Для 1), если ежедневно хранимые файлы, которые вы используете для создания БД, не обновляются и имеют уникальные имена, вы можете отслеживать, какие файлы уже были загружены, и пропускать их при последующих запусках.
2) Даже если вы не можете физически ввести таблицу, у вас, вероятно, есть определенные «ключевые» столбцы, например. sym, дата, время, сторона и т. д. Вы можете проверить, появляются ли «ключевые» значения фрагмента, который вы загружаете в данный момент, в разделе даты. Если они это сделают, удалите эти записи, сохранив при этом остальные.
