как лучше всего перенести большие данные с vertica на redshift?

Мы разместили vertica на AWS, и общий размер базы данных составляет 500 ГБ. Итак, каков самый быстрый способ перенести данные из vertica в redshift?

Один из подходов:
1. экспортировать данные vertica в S3
2. загрузить данные из S3 в Redshift.

Есть ли лучший подход?


person Arvindkumar    schedule 03.10.2013    source источник


Ответы (1)


Есть три способа перевести данные в красное смещение:

  1. Загрузите его с s3
  2. Загрузите его из DynamoDB
  3. Сделать запрос на вставку

Запросы на вставку, даже массовые, ограничены производительностью ведущего узла вашего кластера красного смещения. Варианты №1 и №2 лучше, поскольку вставка данных выполняется параллельно вычислительным узлам кластера.

обновление: теперь есть 4-й вариант, загрузка через ssh: http://docs.aws.amazon.com/redshift/latest/dg/loading-data-from-remote-hosts.html

person Yaniv Kessler    schedule 04.10.2013