AWS Redshift — это хранилище данных, используемое в качестве эффективного источника многих моделей машинного обучения, развернутых в облаке, а данные из Redshift можно легко прочитать в сценарии Python в редакторах кода или в блокноте jupyter/colab.

Чтение данных из AWS Redshift

Шаг 1. Импортируйте библиотеки sqlalchemy и pandas

Шаг 2. Создайте redshift_engine с указанным ниже синтаксисом и добавьте учетные данные AWS: хост, имя пользователя, пароль, порт и имя базы данных.

Шаг 3. Убедитесь, что таблица уже существует в AWS Redshift. Прочитайте эту таблицу как df_read

Запись данных в AWS Redshift

Этот подход работает, когда таблица уже создана в AWS Redshift с определенными именами столбцов и форматом данных.

Шаг 1. Импортируйте sqlalchemy и pandas, если вы еще этого не сделали

Шаг 2. Создайте redshift_engine с указанным ниже синтаксисом и добавьте учетные данные AWS: хост, имя пользователя, пароль, порт и имя базы данных.

Шаг 3: Запишите фрейм данных df_write в Redshift

  • Определите тип данных для каждого столбца, существующий в таблице Redshift.
  • Чтобы заменить полные данные в таблице красного смещения, установите параметр if_exists = 'replace'. Если вы просто хотите добавить новые данные к существующим if_exists = 'append'