Пошаговое руководство с примером проекта

Перенос данных - обычное дело в разработке программного обеспечения. В настоящее время большая часть рабочих нагрузок находится в облаке. Мы можем поместить большой объем данных в большой двоичный объект хранилища в Azure иногда в терабайтах. Если вы хотите обработать данные, вы должны их загрузить, обработать и снова загрузить. Что делать, если на вашем локальном компьютере нет вычислительной мощности? Вы можете сделать это с помощью виртуальной машины Azure.

В этом посте вы можете создать виртуальную машину и переместить данные из большого двоичного объекта хранилища, обработать их и снова загрузить. Есть много способов сделать это, но мы рассмотрим один из них в этой статье.

  • Предварительные требования для Azure
  • Пример проекта
  • Создание учетной записи хранения
  • Создать ВМ
  • Реализация
  • Резюме
  • Заключение

Предварительные требования для Azure

Azure - это платформа облачных вычислений от Microsoft. Microsoft Azure позволяет создавать готовые к будущему инновации во всех ваших средах с использованием новейших технологий. Вы даже можете зарегистрировать бесплатную учетную запись Azure и бесплатно получать популярные услуги в течение 12 месяцев.

Если вы новичок в Azure или только начинаете, вы можете прочитать следующую статью.

Как начать работу с Azure

Пример проекта

Давайте посмотрим, что мы переносим между виртуальной машиной и хранилищем BLOB-объектов Azure. В этом примере мы не делаем ничего тяжелого, вместо этого мы выполняем простую распаковку и снова загружаем их в большой двоичный объект хранилища.

Например, у вас есть tar-файл в хранилище BLOB-объектов, и вы хотите распаковать его и снова загрузить файлы в хранилище BLOB-объектов.

Создание учетной записи хранения

Первое, что нам нужно сделать, это создать учетную запись для хранения tar-файла. После того, как вы войдете на портал Azure и щелкните по созданию ресурса на панели управления.

Когда вы нажимаете на учетную запись хранения и вводите все необходимые данные в форму ниже. Я создал новую группу ресурсов, которая называется миграция данных, и дал примерное имя для учетной записи хранения.

После того, как вы нажмете «Обзор + создать», вы увидите экран, показанный ниже.

После завершения развертывания вы увидите страницу с подробностями.

Создать ВМ

Мы создали учетную запись хранения, и давайте точно так же создадим виртуальную машину.

После того, как вы нажмете на создание виртуальной машины, вы увидите форму ниже, в которой вы вводите все данные, такие как имя виртуальной машины, изображение, имя группы ресурсов и т. Д.

Убедитесь, что вы создали пару имени пользователя и значения ключа, чтобы мы могли подключиться к виртуальной машине по SSH.

Убедитесь, что вы загрузили пару "ключ-значение" на следующем экране.

После завершения развертывания вы увидите страницу с подробностями, как показано ниже.

Реализация

Давайте реализуем приведенный выше пример проекта.

Войти в виртуальную машину

Нажмите кнопку подключения на левой панели, чтобы получить подробную информацию о том, как войти в виртуальную машину.

После запуска команды вы можете войти в виртуальную машину, как показано ниже.

Создание файла tar

Давайте создадим папку с названием data-migration и создадим 3 текстовых файла, как показано ниже.

Давайте заархивируем эти файлы с помощью следующей команды.

tar cvf file.tar *.txt

Загрузите tar-файл с помощью azcopy

Во-первых, нам нужно установить azcopy, выполнив следующие действия.

// get the tar file
wget https://aka.ms/downloadazcopy-v10-linux
// untar it
tar -xvf downloadazcopy-v10-linux
// cd into downloaded directory
cd azcopy_linux_amd64_10.12.2/
// add it to the /usr/bin 
sudo cp azcopy /usr/bin/
// verify the version
sudo azcopy --version

Давайте создадим контейнер под названием tarfile в разделе контейнеров.

Нам нужно сгенерировать токен SAS для этого контейнера, чтобы мы могли загружать в него файлы.

Нам нужно убедиться, что у нас есть правильные разрешения для URL-адреса SAS, чтобы мы могли его загрузить.

Вот сгенерированный URL-адрес SAS и сделайте его копию.

Вот документация по команде azcopy copy, пожалуйста, посмотрите, хотите ли вы узнать о ней больше.

https://docs.microsoft.com/en-us/azure/storage/common/storage-ref-azcopy-copy

Вот команда, которую мы должны запустить, чтобы загрузить tar-файл в tar-файл контейнера.

sudo azcopy copy ./file.tar 'https://samplecontenttar.blob.core.windows.net/tarfile?sp=racwdl&st=2021-10-22T09:20:45Z&se=2021-10-22T17:20:45Z&spr=https&sv=2020-08-04&sr=c&sig=rfwlJtCY8banBFEbPRsAVDKb0RogX349xqqsN7yu7SE%3D'

Мы видим это и в контейнере.

Загрузите tar-файл и распакуйте его

Чтобы загрузить tar-файл, все, что нам нужно сделать, это поменять местами источник и назначение в команде azcopy. Сначала удалим все файлы на виртуальной машине.

Выполните следующую команду, чтобы загрузить файл tar в виртуальную машину из большого двоичного объекта хранилища.

sudo azcopy copy 'https://samplecontenttar.blob.core.windows.net/tarfile?sp=racwdl&st=2021-10-22T09:20:45Z&se=2021-10-22T17:20:45Z&spr=https&sv=2020-08-04&sr=c&sig=rfwlJtCY8banBFEbPRsAVDKb0RogX349xqqsN7yu7SE%3D' . --recursive

Давайте перечислим файлы и распаковать file.tar, как показано ниже.

Резюме

  • Перенос данных - обычное дело в разработке программного обеспечения. В настоящее время большая часть рабочих нагрузок находится в облаке.
  • Мы можем поместить большой объем данных в большой двоичный объект хранилища в Azure иногда в терабайтах.
  • Если вы хотите обработать данные, вы должны их загрузить, обработать и снова загрузить.
  • Вы можете установить azcopy на виртуальной машине и выполнить миграцию с помощью этого инструмента.

Заключение

Существует множество способов миграции данных, и это один из них. Вы даже можете автоматизировать все это и создать конвейер, чтобы делать это в любое время.