Озеро данных Azure с фильтрацией данных SSIS

Я использую озеро данных в качестве источника в SSIS, но хочу получить или отфильтровать некоторые определенные строки в SSIS. Не могли бы вы предложить, как мы можем фильтровать данные озера данных Azure в SSIS.


azure azure-data-lake ssis msbi
person Rahul Jain    schedule 01.08.2018    source источник
comment
К кому бы я ни относился, они не хотят получать данные в Ssis, а затем выполнять фильтрацию данных. Они хотят уменьшить количество строк, которые они извлекают. Я правильно понимаю?   -  person Ardalan Shahgholi    schedule 09.07.2020

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете использовать conditional Split или Derived Column после Data Lake Store Source в Data Flow

Я не уверен, как вы хотите фильтровать некоторые определенные строки. Я предполагаю, что фильтрую строку, в которой первые два символа имеют вид AB
(DT_STR,5000,1252)SUBSTRING([Column 0],1,2) != "AB"

введите здесь описание изображения

person Jayendran    schedule 01.08.2018
comment
В этом случае озеро данных будет извлекать все записи, но мне нужны определенные записи из источника. - person Rahul Jain; 01.08.2018
comment
@RahulJain поместил ваше конкретное условие записи в столбец Condition. В моем приведенном выше примере. Я отфильтровал записи, начинающиеся с AB как (DT_STR,5000,1252)SUBSTRING([Column 0],1,2) != "AB". Вы можете определить свое состояние следующим образом - person Jayendran; 07.08.2018
comment
@RahulJain Помог ли вам мой ответ выше? Пожалуйста, проголосуйте/примите ответ в таком случае - person Jayendran; 18.08.2018