Сервисы AWS, позволяющие перемещать данные из локальной среды в AWS
Хотя многие из новых идей (стартапы, MegaCorps) строятся исключительно в облаке, многим клиентам по-прежнему необходимо переносить данные со своих локальных серверов в облако, как в пакетном, так и в потоковом режиме. В этом блоге я расскажу вам о следующих сервисах AWS, которые позволяют перемещать данные из локальной среды в AWS:
- Сервис миграции баз данных AWS
- AWS DataSync
- AWS Storage Gateway
- Агент Amazon Kinesis
- Семейство AWS Transfer
Хотя существует множество других вариантов переноса данных из локальной среды в AWS, это лишь некоторые из вариантов, которые требуют минимальных усилий по написанию кода.
AWS Database Migration Service
Эта служба позволяет переносить данные из баз данных в различные целевые объекты в облаке. Исходная база данных остается полностью работоспособной во время миграции. Сервис может выполнять однородные миграции, например, из Oracle в Oracle, или сервис может выполнять гетерогенные миграции, например, из Oracle в Amazon Aurora.
Исходной базой данных может быть любая из общедоступных баз данных или Amazon S3, как указано ниже. Самый последний список и поддерживаемые версии можно найти здесь.
Сервис предоставляет гораздо больше возможностей для целевого хранилища данных. Ваше целевое хранилище данных не обязательно должно быть традиционной базой данных, но это может быть Kinesis, Elasticsearch, Redshift, Kafka. Список доступных целей ниже. Самый последний список и поддерживаемые версии можно найти здесь.
Перенос данных состоит из трех этапов:
- Создание сервера репликации для хранения кэшированных данных
- Создание исходной и целевой конечных точек
- Выполнение одной или нескольких задач миграции
Служба считывает данные из исходного хранилища данных и преобразует их в формат целевого хранилища данных. Большая часть этой обработки происходит в памяти, но некоторые могут быть перенесены на диск также в случае значительных транзакций. Задача миграции состоит из трех этапов:
- Полный набор существующих данных
- Применение кешированных изменений
- Текущая репликация
Служба загружает данные из исходного хранилища данных в целевое хранилище данных во время полной миграции нагрузки. На этом этапе любые изменения, внесенные в исходное хранилище данных, кэшируются на сервере репликации. После завершения всей загрузки эти кэшированные изменения также применяются к целевому хранилищу данных.
После завершения миграции кэшированных изменений исходное и целевое хранилище данных называются транзакционно согласованными. Затем служба DMS переходит в фазу текущей репликации и начинает применять все новые изменения как транзакции к целевому хранилищу данных.
В большинстве случаев вы также переносите всю или большую часть исходной схемы. Неоднородные миграции, вы можете использовать возможности ядра базы данных для экспорта и импорта схемы. При гетерогенной миграции вы можете использовать AWS Schema Conversion Tool для создания полной целевой схемы из исходной схемы.
AWS DataSync
Это онлайн-сервис передачи данных для перемещения данных между локальными системами и облаком. Этот сервис может копировать данные между общими ресурсами NFS, общими ресурсами SMB, самоуправляемым объектным хранилищем, AWS snowcone, корзинами Amazon S3, файловыми системами Amazon EFS и Amazon FSx для файловой системы Windows File Server. DataSync состоит из следующих четырех компонентов:
- Агент - его можно развернуть на гипервизорах VMWare ESXi, KVM, MS Hyper-V или инстансах Amazon EC2.
- Местоположение - определяет конечные точки (источник и цель) задачи. Сервис поддерживает NFS, SMB, хранилище самоуправляемых объектов, Amazon EFS, Amazon FSx для файлового сервера Windows и Amazon S3 в качестве типов местоположения.
- Задача - включает источник и место назначения, а также конфигурацию, определяющую процесс передачи данных.
- Выполнение задачи - это индивидуальный запуск задачи с различными фазами перехода, временем начала, временем окончания, количеством переданных файлов и статусом.
Сервис позволяет вам периодически планировать свои задачи с почасовыми, ежедневными и еженедельными вариантами. Однако это приводит к задержке не менее часа и, следовательно, может не подходить для сценариев использования в реальном или близком к реальному времени.
Файловый шлюз AWS
Эта услуга предоставляет вам локальный доступ к практически неограниченному облачному хранилищу. Вы можете интегрировать облачное хранилище с локальными рабочими нагрузками, чтобы упростить управление хранилищем и сократить расходы. Шлюз хранилища предлагает четыре типа шлюзов:
- Файловый шлюз Amazon S3
- Файловый шлюз Amazon FSx
- Ленточный шлюз
- Объемный шлюз
Служба позволяет перемещать данные в облако для расширенных вариантов использования и кэшировать часть данных локально для сценариев использования с малой задержкой. Вы развертываете шлюз (виртуальную машину или аппаратное устройство) локально. Ваши приложения подключаются к службе шлюза хранилища через этот локальный шлюз, используя стандартные протоколы хранилища, такие как NFS, SMB и iSCSI. Шлюз подключается к различным сервисам хранения AWS, таким как S3, Glacier, Glacier Deep Archive, Amazon FSx для Windows, файловый сервер, Amazon EBS и AWS Backup. Это обеспечивает миграцию данных из локальной среды в облако практически в реальном времени.
Шлюз хранилища AWS - лучший выбор для случаев использования в реальном времени, чем DataSync, поскольку первый передает данные почти в реальном времени.
Агент Amazon Kinesis
Amazon Kinesis Agent - это Java-приложение, которое непрерывно отслеживает файлы и отправляет любые новые данные в потоки данных Kinesis. Кроме того, агент обрабатывает механизмы ротации файлов, установки контрольных точек и повторных попыток. Хотя есть варианты перемещения данных через API или библиотеку Kinesis Producer Library (KPL), этот вариант, как и другие, упомянутые выше, обеспечивает минимальные затраты на кодирование.
Семейство AWS Transfer
Это еще один полностью управляемый сервис, с помощью которого вы можете передавать файлы в Amazon S3 или Amazon EFS и из них через SFTP, FTPS или FTP. Вам не нужно изменять существующие приложения или запускать какую-либо инфраструктуру FTP. Кроме того, услуга рентабельна, поскольку вы платите только за использование услуги.
Спасибо за прочтение. Если вы хотите узнать больше, ознакомьтесь со следующими статьями.
Подробнее
- Топ-5 библиотек React Hook
Https://enlear.academy/top-5-react-hook-libraries-6ab4a0f28f8b
- 5 лучших библиотек OAuth для JavaScript
Https://enlear.academy/top-5-javascript-oauth-libraries-fe49bddf698c
- Последние обновления от Google Cloud Platform
Больше контента на plainenglish.io
