Пошаговое руководство с примером проекта
Перенос данных - обычное дело в разработке программного обеспечения. В настоящее время большая часть рабочих нагрузок находится в облаке. Мы можем поместить большой объем данных в большой двоичный объект хранилища в Azure иногда в терабайтах. Если вы хотите обработать данные, вы должны их загрузить, обработать и снова загрузить. Что делать, если на вашем локальном компьютере нет вычислительной мощности? Вы можете сделать это с помощью виртуальной машины Azure.
В этом посте вы можете создать виртуальную машину и переместить данные из большого двоичного объекта хранилища, обработать их и снова загрузить. Есть много способов сделать это, но мы рассмотрим один из них в этой статье.
- Предварительные требования для Azure
- Пример проекта
- Создание учетной записи хранения
- Создать ВМ
- Реализация
- Резюме
- Заключение
Предварительные требования для Azure
Azure - это платформа облачных вычислений от Microsoft. Microsoft Azure позволяет создавать готовые к будущему инновации во всех ваших средах с использованием новейших технологий. Вы даже можете зарегистрировать бесплатную учетную запись Azure и бесплатно получать популярные услуги в течение 12 месяцев.
Если вы новичок в Azure или только начинаете, вы можете прочитать следующую статью.
Пример проекта
Давайте посмотрим, что мы переносим между виртуальной машиной и хранилищем BLOB-объектов Azure. В этом примере мы не делаем ничего тяжелого, вместо этого мы выполняем простую распаковку и снова загружаем их в большой двоичный объект хранилища.
Например, у вас есть tar-файл в хранилище BLOB-объектов, и вы хотите распаковать его и снова загрузить файлы в хранилище BLOB-объектов.
Создание учетной записи хранения
Первое, что нам нужно сделать, это создать учетную запись для хранения tar-файла. После того, как вы войдете на портал Azure и щелкните по созданию ресурса на панели управления.
Когда вы нажимаете на учетную запись хранения и вводите все необходимые данные в форму ниже. Я создал новую группу ресурсов, которая называется миграция данных, и дал примерное имя для учетной записи хранения.
После того, как вы нажмете «Обзор + создать», вы увидите экран, показанный ниже.
После завершения развертывания вы увидите страницу с подробностями.
Создать ВМ
Мы создали учетную запись хранения, и давайте точно так же создадим виртуальную машину.
После того, как вы нажмете на создание виртуальной машины, вы увидите форму ниже, в которой вы вводите все данные, такие как имя виртуальной машины, изображение, имя группы ресурсов и т. Д.
Убедитесь, что вы создали пару имени пользователя и значения ключа, чтобы мы могли подключиться к виртуальной машине по SSH.
Убедитесь, что вы загрузили пару "ключ-значение" на следующем экране.
После завершения развертывания вы увидите страницу с подробностями, как показано ниже.
Реализация
Давайте реализуем приведенный выше пример проекта.
Войти в виртуальную машину
Нажмите кнопку подключения на левой панели, чтобы получить подробную информацию о том, как войти в виртуальную машину.
После запуска команды вы можете войти в виртуальную машину, как показано ниже.
Создание файла tar
Давайте создадим папку с названием data-migration и создадим 3 текстовых файла, как показано ниже.
Давайте заархивируем эти файлы с помощью следующей команды.
tar cvf file.tar *.txt
Загрузите tar-файл с помощью azcopy
Во-первых, нам нужно установить azcopy, выполнив следующие действия.
// get the tar file wget https://aka.ms/downloadazcopy-v10-linux // untar it tar -xvf downloadazcopy-v10-linux // cd into downloaded directory cd azcopy_linux_amd64_10.12.2/ // add it to the /usr/bin sudo cp azcopy /usr/bin/ // verify the version sudo azcopy --version
Давайте создадим контейнер под названием tarfile в разделе контейнеров.
Нам нужно сгенерировать токен SAS для этого контейнера, чтобы мы могли загружать в него файлы.
Нам нужно убедиться, что у нас есть правильные разрешения для URL-адреса SAS, чтобы мы могли его загрузить.
Вот сгенерированный URL-адрес SAS и сделайте его копию.
Вот документация по команде azcopy copy, пожалуйста, посмотрите, хотите ли вы узнать о ней больше.
https://docs.microsoft.com/en-us/azure/storage/common/storage-ref-azcopy-copy
Вот команда, которую мы должны запустить, чтобы загрузить tar-файл в tar-файл контейнера.
sudo azcopy copy ./file.tar 'https://samplecontenttar.blob.core.windows.net/tarfile?sp=racwdl&st=2021-10-22T09:20:45Z&se=2021-10-22T17:20:45Z&spr=https&sv=2020-08-04&sr=c&sig=rfwlJtCY8banBFEbPRsAVDKb0RogX349xqqsN7yu7SE%3D'
Мы видим это и в контейнере.
Загрузите tar-файл и распакуйте его
Чтобы загрузить tar-файл, все, что нам нужно сделать, это поменять местами источник и назначение в команде azcopy. Сначала удалим все файлы на виртуальной машине.
Выполните следующую команду, чтобы загрузить файл tar в виртуальную машину из большого двоичного объекта хранилища.
sudo azcopy copy 'https://samplecontenttar.blob.core.windows.net/tarfile?sp=racwdl&st=2021-10-22T09:20:45Z&se=2021-10-22T17:20:45Z&spr=https&sv=2020-08-04&sr=c&sig=rfwlJtCY8banBFEbPRsAVDKb0RogX349xqqsN7yu7SE%3D' . --recursive
Давайте перечислим файлы и распаковать file.tar, как показано ниже.
Резюме
- Перенос данных - обычное дело в разработке программного обеспечения. В настоящее время большая часть рабочих нагрузок находится в облаке.
- Мы можем поместить большой объем данных в большой двоичный объект хранилища в Azure иногда в терабайтах.
- Если вы хотите обработать данные, вы должны их загрузить, обработать и снова загрузить.
- Вы можете установить azcopy на виртуальной машине и выполнить миграцию с помощью этого инструмента.
Заключение
Существует множество способов миграции данных, и это один из них. Вы даже можете автоматизировать все это и создать конвейер, чтобы делать это в любое время.