Вопросы по теме 'google-cloud-composer'
Автоматическое масштабирование композитора?
Учитывая, что композитор GCP работает с GKE / GCE, это автоматическое масштабирование? Теперь у меня есть 3 узла в кластере для поддержки, скажем, 100 групп DAG.
Позже, если у меня будет около 300 DAG, будет ли он расширяться (с рабочими...
1449 просмотров
schedule
26.12.2022
Не удается запустить Composer env в австралийской зоне: INVALID_ARGUMENT: Неожиданное местоположение: australia-southeast1
Я пытаюсь создать свою среду Composer в австралийском регионе. Но я продолжаю получать следующую ошибку:
"INVALID_ARGUMENT: Непредвиденное местоположение: Австралия-юго-восток1"
Используя следующую команду:
gcloud beta composer...
430 просмотров
schedule
29.07.2023
Airflow DataprocClusterCreateOperator
В настройках Airflow DataprocClusterCreateOperator:
Есть ли у нас возможность установить тип основного диска для главного и рабочего на pd-ssd ?
Значение по умолчанию - standard .
Заглядывал в документацию - никаких параметров не нахожу.
397 просмотров
schedule
24.06.2022
Выполнение сценариев R в среде воздушного потока Google Cloud Composer
Я хотел бы выполнить сценарий R из дага в среде Google Cloud Composer. Как установить R в Composer и запустить сценарий R?
604 просмотров
schedule
20.11.2023
Относительный каталог DAG Google Cloud Composer в корзине GCS
Как правильно получить доступ к корневой папке контейнера GCS экземпляра Composer или любой другой папке воздушного потока (например, / data), чтобы сохранить выходной файл задачи для простого DAG:
import logging
from os import path
from datetime...
2283 просмотров
schedule
04.06.2022
Компоновщик облака: PERMISSION_DENIED: у вызывающего абонента нет разрешения
Несколько задач я реализовал с помощью BashOperator. Те, у кого есть "gsutil rm" и "gsutil cp", работали нормально. Но один с "gcloud alpha firestore export" генерирует эту ошибку:
{bash_operator.py:101} INFO - ERROR:...
27257 просмотров
schedule
08.06.2023
Google Cloud Composer с региональным кластером кубернетов
Планирую план аварийного восстановления на случай выхода из строя зоны в GCP.
В настоящее время Composer работает в одной зоне. Есть ли способ сделать кластер Kubernetes региональным?
240 просмотров
schedule
06.04.2023
Как поставить в очередь засыпки в airflow?
У меня есть DAG, где max_active_runs установлено на 2, но теперь я хочу запустить заполнение для 20 прогонов. На самом деле я ожидал, что воздушный поток как бы запланирует все засыпки, но запустит только 2 за раз, но, похоже, этого не происходит....
613 просмотров
schedule
23.10.2022
Airflow DAG - как сначала проверить BQ (при необходимости удалить), а затем запустить задание потока данных?
Я использую облачный композитор для организации ETL для файлов, поступающих в GCS и идущих в BigQuery. У меня есть облачная функция, которая запускает даг при поступлении файла, а облачная функция передает имя / местоположение файла в DAG. В моем...
3091 просмотров
schedule
25.02.2023
Воздушный поток: повторяющаяся ошибка целостности MySQL записи при запуске DAG
У меня есть два Airflow DAG - планировщик и рабочий. Планировщик запускается каждую минуту и опрашивает новые задания агрегирования и запускает рабочие задания. Вы можете найти код для задания планировщика ниже.
Однако из более чем 6000 заданий...
1013 просмотров
schedule
15.05.2022
Как управлять зависимостями Python в Airflow?
На моей локальной машине я создал виртуальную среду и установил Airflow. Когда дагу или плагину требуется библиотека Python, я устанавливаю ее в тот же виртуальный файл.
Как я могу отслеживать, какие библиотеки принадлежат дагу, а какие...
5950 просмотров
schedule
18.05.2023
Как получить путь GCS к папке данных композитора
Мне нужно скопировать файлы с FTP-сервера в определенное место GCS. Я использую ftp_hook для загрузки файла в папку / data. Мне нужно переместить этот файл в другую корзину GCS вместо корзины Composer GCS.
Я пытаюсь использовать оператор...
989 просмотров
schedule
08.09.2022
большая проблема с загрузкой csv запроса
Недавно я начал работать над gcp и bigquery в целом. Я получаю следующую ошибку при загрузке файла csv из облачного хранилища Google в таблицу BQ с помощью облачного композитора Google.
Ниже приведен код, который я использую.
t1 =...
1076 просмотров
schedule
22.05.2022
Конвейерная обработка в GCP
У меня есть много данных, которые регулярно собираются из источников и хранятся в корзинах GCS. В настоящее время они хранятся в одном местном регионе (Лондон). Мы передаем эти данные по конвейеру с помощью ETL, используя комбинацию сервисов GCP...
72 просмотров
schedule
16.05.2023
как называется ОПЕРАЦИЯ в операциях gcloud ai-platform wait ОПЕРАЦИЯ?
Мне нужно дождаться завершения работы по обучению машинному обучению, прежде чем продолжить работу.
Я использую Composer / Airflow для управления своими задачами. Моя первая задача - запустить обучение машинному обучению на платформе AI, затем мне...
115 просмотров
schedule
22.04.2023
прочитать CSV и загрузить в ведро gcp с помощью проблемы с компилятором Google Cloud
У меня возникла странная проблема, когда я пытаюсь прочитать csv из ведра gcp и записать в то же ведро. Обратите внимание, что приведенный ниже код раньше работал у меня, но теперь в журналах воздушного потока возникает исключение, в котором...
1715 просмотров
schedule
09.05.2022
код Python читает только частичный CSV-файл из ведра gcs
Я столкнулся со странной проблемой при чтении файла csv из корзины облачного хранилища Google и записи его в файл в другой папке в той же корзине.
У меня есть файл csv с именем test.csv со 1000001 строкой. Я пытаюсь заменить "в каждой строке...
489 просмотров
schedule
01.06.2023
GCP Composer - как запустить Python 3 вместо Python 2
Я использую GCP Composer для оркестровки ETL…
Когда я создал экземпляр, я установил версию Python на Python 3
Одна из задач с использованием DataFlowPythonOperator, которая отлично работает, если запускается из нашего локального экземпляра...
798 просмотров
schedule
09.04.2022
Путаница времени vCPU Google Cloud Composer
Недавно я пробовал Composer запустить мой конвейер и обнаружил, что это стоит на удивление дорого, чем я думал, вот что я получил из счета:
Cloud Composer Cloud Composer vCPU time in South Carolina: 148.749 hours
[Currency conversion: USD to AUD...
302 просмотров
schedule
22.07.2023
Запуск DAG из облачной функции Google
Я пытался выполнить DAG в Cloud Composer ( composer-1.8.1-airflow-1.10.3 ), когда файл попадает в корзину GCS на основе облака документация по композитору с облачной функцией в Python
Мне не удалось заставить его работать, каждый раз, когда он...
597 просмотров
schedule
14.06.2022
