Как читать зашифрованные наборы данных s3 в дельта-формате с помощью AWS Athena?

Мне интересно, у нас есть поддержка чтения наборов данных в дельта-формате, зашифрованных KMS-CSE, через Athena?

Я просматривал https://docs.delta.io/0.5.0/presto-integration.htm, в котором ничего не говорится о поддержке шифрования.

Если сам манифест зашифрован с помощью KMS-CSE в s3, смогу ли я успешно прочитать его в Athena?

с помощью приведенной ниже команды я могу создать таблицу в Афине.

CREATE EXTERNAL TABLE `delta_athena_demo`(
  `id` bigint)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://testing/_symlink_format_manifest/'
TBLPROPERTIES (
  'has_encrypted_data'='true')

однако, когда я запрашиваю, я получаю следующую ошибку:

Ваш запрос содержит следующие ошибки:

HIVE_UNKNOWN_ERROR: обнаружены зашифрованные объекты. Пожалуйста, добавьте TBLPROPERTIES (has_encrypted_data=true) в свойства таблицы.

(Найдено в [email protected])


amazon-s3 delta-lake amazon-athena
person Jacek Laskowski    schedule 21.01.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Я связался со службой поддержки AWS Athena, и они подтвердили, что в настоящее время Athena не поддерживает чтение из манифеста формата ввода текста с зашифрованной символической ссылкой. Они могут рассматривать это как запрос функции в будущем.

person Community    schedule 21.01.2020