Вопросы по теме 'amazon-athena'
Стол Афины с несколькими местами
Мои данные распределены по нескольким каталогам и нескольким файлам, разделенным табуляцией, в этих каталогах. Общая структура выглядит так:
s3://bucket_name/directory/{year}{month}/{iso_2}/{year}{month}{day}_table.bcp.gz
где {year} - год...
2101 просмотров
schedule
12.10.2022
Есть ли способ получить идентификатор запроса и статус с помощью драйвера Athena JDBC?
Можно ли как-то получить Athena query ID для запроса, который я отправляю драйверу Athena JDBC? Любые вызовы API к статусу запроса (с его идентификатором запроса?). Есть ли способ получить историю запросов через вызов API?
1946 просмотров
schedule
25.12.2023
Hive — группировка по столбцу даты и времени только на сегодняшний день
В моей таблице столбец eventtime выглядит так:
2017-03-25T03:18:00001Z
2017-03-25T05:21:00013Z
Я хочу сгруппировать по времени события только с датой.
Нравиться
2017-03-18, 2017-03-21
1230 просмотров
schedule
15.01.2023
Проверка массива в Афине
У меня есть таблица в Афине, где один из столбцов имеет тип array<string> . Однако, когда я бегу
select * from mytable
where array_contains(myarr,'foobar')
limit 10
кажется, у Афины нет функции array_contains :
SYNTAX_ERROR: line...
11030 просмотров
schedule
08.12.2022
Использование AWS Athena JDBC Jar в Datapipeline выдает ошибку версии Java
Я пытаюсь запустить sqlactivity в конвейере данных AWS, используя соединение Athena JDBC, однако при запуске конвейера получаю ошибку «UnsupportedClassVersionError».
я получил немного информации из блога (...
519 просмотров
schedule
11.07.2022
Ограничение запросов к конкретной базе данных Amazon Athena с помощью URL-адреса jdbc
Можно ли ограничить запросы к определенной базе данных Amazon Athena, чтобы запросы выполнялись только к этой базе данных?
Я представляю что-то вроде
jdbc:awsathena://athena.us-east-1.amazonaws.com:443/databasename
, так что такие запросы,...
1090 просмотров
schedule
06.12.2022
Проблемы с запросом таблицы Athena, в которой исходный сегмент находится из другой учетной записи
Я создал таблицы Athena для файлов, находящихся в корзине S3, которые не принадлежат моей учетной записи. Таблицы разделены на разделы, и когда я запускаю команду MSCK REPAIR TABLE, она выполняется успешно и показывает разделы, которых нет в...
4908 просмотров
schedule
31.05.2022
Установите несколько местоположений в Amazon Athena
Есть ли способ установить несколько местоположений для таблицы в Amazon Athena? Например, я хочу прочитать данные из каталога «s3://location-1», «s3://location-2», «s3://location-3» и т. д. Или добавить их с помощью таблицы изменений?
Спасибо
2852 просмотров
schedule
05.09.2022
Афина: свести к минимуму данные, сканируемые запросом, включая операцию JOIN
Пусть в Athena есть внешняя таблица, которая указывает на большой объем данных, хранящихся в формате parquet на s3. Он содержит множество столбцов и разделен на поле под названием «timeid». Теперь есть еще одна внешняя таблица (небольшая), которая...
987 просмотров
schedule
07.07.2022
Запросы исчерпали ресурсы при этом коэффициенте масштабирования
Я выполнял SQL-запрос на Amazon Athena. И пару раз я получал следующую ошибку:
Запросы исчерпали ресурсы при этом коэффициенте масштабирования
Этот запрос выполнялся с базой данных «test1», если он не уточняется запросом. Отправьте сообщение...
4897 просмотров
schedule
14.06.2023
Расположение данных S3 для Amazon Athena
Я создал корзину Amazon S3 и загрузил плоский файл (знаменитый набор данных о цветках ириса ) как csv).
Теперь я хотел бы создать плоскую таблицу набора данных Iris в Amazon Athena и запросить ее. Я просто не могу найти «Расположение набора...
3378 просмотров
schedule
14.06.2022
Использование файла tar.gz в качестве источника для Amazon Athena
Если я определяю файлы * .tsv на Amazon S3 в качестве источника для таблицы Athena и использую OpenCSVSerde или LazySimpleSerDe в качестве десериализатора, он работает правильно. Но если я определяю файлы * .tar.gz, которые включают файлы * .tsv, я...
1046 просмотров
schedule
05.05.2022
Можно ли использовать группы Cognito для управления доступом на уровне строк/столбцов в Athena?
Группы AWS Cognito предлагают довольно мощные средства создания групп пользователей и разрешений. Мне нужно управлять доступом к пользовательским данным на уровне строк/столбцов в Athena, Aurora и т. д.
Есть ли способ использовать Cognito для...
350 просмотров
schedule
29.08.2022
Использование JDBI с драйвером JDBC, который не поддерживает подготовленные операторы
Я пытаюсь использовать последнюю версию JDBI 2.x поверх драйвера jdbc Presto/AWS Athena, который не поддерживает подготовленные операторы.
Кажется, что должен быть параметр конфигурации или что-то подобное, который позволил бы вам отключить...
578 просмотров
schedule
06.02.2024
Интеграция Hue с Amazon Athena
Мое требование:
Я хочу, чтобы проверка подлинности пользователя (доступ только для чтения) выполняла запросы sql через amazon athena. Athena будет использоваться для выполнения запросов только для чтения через s3. Hue будет использоваться для...
878 просмотров
schedule
30.05.2022
Сбой таблицы AWS Athena с корзиной в другом регионе
Мне нужно запросить данные в регионах, отличных от региона, в котором работает Athena.
Попробуйте это: https://docs.aws.amazon.com/athena/latest/ug/json.html Следил за документами, и даже я не могу запросить сегмент в том же регионе.
Скажем,...
4132 просмотров
schedule
02.05.2023
Этот запрос не выполняется один раз в месяц, как его можно исправить?
Этот запрос не выполняется один раз в месяц, потому что часть BETWEEN становится недействительной. Где value BETWEEN min AND max , 1 марта мой запрос снова завершится ошибкой, потому что он вычислит partition_2 BETWEEN 28 AND 1 . Как сделать этот...
57 просмотров
schedule
13.09.2022
Athena не может разрешить файлы CSV из AWS DMS
Я настроил DMS для непрерывной репликации данных из MySQL RDS в S3. Это создает два типа файлов CSV: полная загрузка и сбор данных об изменениях (CDC). Согласно моим тестам, у меня есть следующие файлы:
testdb/addresses/LOAD001.csv.gz...
803 просмотров
schedule
29.11.2022
AWS Glue + Athena пропустить строку заголовка
По состоянию на обновления от 19 января 2018 г. , Афина может пропускать строку заголовка файлов,
Поддержка игнорирования заголовков. Вы можете использовать свойство skip.header.line.count при определении таблиц, чтобы Афина могла...
5357 просмотров
schedule
08.06.2022
Как создать таблицу в AWS Athena из нескольких CSV по именам столбцов, а не по порядку столбцов
Я хочу создать таблицу в AWS Athena из нескольких файлов CSV, хранящихся в S3.
CSV-файлы содержат строку заголовка с именами столбцов. Моя проблема в том, что столбцы в каждом CSV расположены в разном порядке, и я хочу получить столбцы по их...
2871 просмотров
schedule
20.04.2023
