Промежуточное хранилище служб SSIS для усечения

Ежедневно мы получаем данные в форматах Excel, мы загружаем данные в промежуточную среду, а затем переходим к пакету SSIS и используем Excel в качестве диспетчера соединений, выполняем преобразования и перемещаем данные в хранилище. так как мы берем данные только из excel, то зачем создавать этап и обрезать его, ведь мы берем excel в качестве источника и все манипуляции выполняются в нем? Может кто-нибудь объяснить сценарий в реальном времени? Я видел много веб-сайтов и не мог понять, что такое концепция, например, постановка, источник (excel), цель поиска (склад). Зачем создавать для стадии, поскольку все делается только в пакете SSIS?


person user14697114    schedule 24.11.2020    source источник
comment
Будут ли ваши исходные файлы (Excel) содержать строки данных, которые ранее были загружены в хранилище? По сути, будете ли вы отслеживать изменения строк в DW?   -  person Adam Parker    schedule 24.11.2020
comment
Excel просто недостаточно надежный источник для прямой вставки в итоговую таблицу. На самом деле это редко когда-либо делается - схема постановки очень распространена.   -  person Nick.McDermaid    schedule 24.11.2020
comment
Промежуточная среда также позволяет инкапсулировать логику преобразования в хранимые процедуры, которые можно модифицировать без внесения изменений в пакеты служб SSIS. Это также снижает сложность ваших пакетов SSIS, чтобы сосредоточиться только на импорте данных и выполнении процедур stord. В более крупных проектах использование такого шаблона может значительно сэкономить время.   -  person iamdave    schedule 24.11.2020


Ответы (1)


Промежуточная область в основном используется для быстрого извлечения данных из источников данных, сводя к минимуму влияние источников. После загрузки данных в промежуточную область эта промежуточная область используется для объединения данных из нескольких источников данных, преобразований, проверок и очистки данных.

Вы можете использовать шаблон промежуточного проектирования :

  • Инкрементальная нагрузка
  • Обрезать вставку
  • Использование разделителей с HashBytes для обнаружения изменений

Вы можете узнать о Шаблон проектирования пакетов для загрузки хранилища данных

person Amira Bedhiafi    schedule 06.02.2021