AWS Redshift — это хранилище данных, используемое в качестве эффективного источника многих моделей машинного обучения, развернутых в облаке, а данные из Redshift можно легко прочитать в сценарии Python в редакторах кода или в блокноте jupyter/colab.
Чтение данных из AWS Redshift
Шаг 1. Импортируйте библиотеки sqlalchemy
и pandas
Шаг 2. Создайте redshift_engine
с указанным ниже синтаксисом и добавьте учетные данные AWS: хост, имя пользователя, пароль, порт и имя базы данных.
Шаг 3. Убедитесь, что таблица уже существует в AWS Redshift. Прочитайте эту таблицу как df_read
Запись данных в AWS Redshift
Этот подход работает, когда таблица уже создана в AWS Redshift с определенными именами столбцов и форматом данных.
Шаг 1. Импортируйте sqlalchemy
и pandas
, если вы еще этого не сделали
Шаг 2. Создайте redshift_engine
с указанным ниже синтаксисом и добавьте учетные данные AWS: хост, имя пользователя, пароль, порт и имя базы данных.
Шаг 3: Запишите фрейм данных df_write
в Redshift
- Определите тип данных для каждого столбца, существующий в таблице Redshift.
- Чтобы заменить полные данные в таблице красного смещения, установите параметр
if_exists = 'replace'
. Если вы просто хотите добавить новые данные к существующимif_exists = 'append'