Я загружаю данные из Hana в Hadoop. Я использую sqoop 1.4.4-mapr-1408. Соединение Hana настраивается с использованием соединения JDBC в Sqoop с использованием файла Jar, предоставленного SAP Hana — ngdbc.jar.
Теперь вопрос -
Архив .jar содержит собственную JAVA JDBC-реализацию проводного протокола SAP HANA. См. соответствующую документацию здесь: http://help.sap.com/hana/SAP_HANA_SQL_Command_Network_Protocol_Reference_en.pdf В этом нет ничего «волшебного», но это достаточно оптимизированная реализация JDBC 4.
Драйвер JDBC вообще не извлекает таблицы. Таблицы никогда не покидают базу данных. То, что вы получаете от драйвера, — это наборы результатов. Если вы выполняете глупый запрос — просто читаете всю таблицу, то драйвер предоставит соответствующий набор результатов. Это конечно происходит не сразу, поэтому "пить воду из шланга" не нужно. Цикл open-fetch-next, который вы должны реализовать в своем клиентском коде, преобразуется драйвером в аналогичную поблочную передачу от сервера к клиенту. Размер фрагмента для этого (размер фрагмента) обычно устанавливается автоматически и может быть установлен через JDBC API.
Вы можете использовать трассировку производительности JDBC и сетевую статистику на сервере SAP HANA.
Учитывая, что вы, похоже, выгружаете данные из HANA в HADOOP, хорошая новость заключается в том, что размер пакета автоматически устанавливается на максимальное значение с учетом настройки сети клиента. Скорее всего, время создания дампа данных будет потрачено на материализацию больших наборов результатов. Дамп таблиц на самом деле является прецедентом использования HANA, поэтому это одна из самых медленных вещей, которые вы могли бы сделать.
мои 2 ст.
