MSCK REPAIR TABLE странно работает с дельта-таблицами

У меня есть дельта-таблица в s3, и для той же таблицы я определил внешнюю таблицу в Афине. После создания таблицы Athena и генерации манифестов я загружаю разделы с помощью MSCK REPAIR TABLE. Все столбцы раздела находятся в snake_case. Но все же я получаю

Разделов нет в хранилище метаданных.

Есть идеи, что мне здесь не хватает?


delta-lake amazon-athena
person Ankit Anand    schedule 08.02.2021    source источник
comment
вы получаете это сразу после генерации манифеста и MSCK?   -  person Alex Ott    schedule 08.02.2021
comment
Да, когда я загружаю вывод MSCK, я вижу эти строки в этом файле.   -  person Ankit Anand    schedule 09.02.2021
comment
Вы проверяли журналы ошибок для запроса Афины?   -  person Nishu Tayal    schedule 11.02.2021

Ответы (2)


arrow_upward
1
arrow_downward

У пользователя или роли IAM нет политики, разрешающей действие glue: BatchCreatePartition. Вы должны разрешить glue: BatchCreatePartition в политике IAM, и он должен работать.

person AswinRajaram    schedule 08.02.2021
comment
Это разрешено в политике IAM, потому что аналогичная вещь работает с другими дельта-таблицами. - person Ankit Anand; 09.02.2021

arrow_upward
0
arrow_downward

Решил проблему. При создании таблицы я помещал столбцы разделов в неправильном порядке.

person Ankit Anand    schedule 12.02.2021