Как читать фотографии для глубокого обучения на экземпляре виртуальной машины Google Cloud Platform Compute Engine через Jupyter Lab

Я настроил проект на GCP с виртуальной машиной Compute Engine и Storage Bucket.
Области доступа настроены на Разрешить полный доступ ко всем облачным API. Установил регион и зону по умолчанию. Мне кажется, авторизация SSH выполнена, но не на 100 %. конечно, учитывая документацию, которую я прочитал.

У меня есть ~ 100 000 фотографий на обеих моих локальных машинах, которые мне удалось загрузить в корзину, и теперь я пытаюсь запустить свой алгоритм, используя лабораторию jupyter, подключенную к виртуальной машине. Моей первой мыслью было создать объект списка из объекта ведра. Через 90 минут я попытался сделать то же самое, но с моей локальной папкой. После неудачи в этом я попытался смонтировать ведро на экземпляре виртуальной машины, хотя и это мне не удалось (я бы все равно не пошел на этот раз, так как мне пришлось бы копировать файлы, которые кажутся сумасшедшими).

я использовал это с разными командами !gsutil ls gs://my_bucket

from google.cloud import storage

bucket_name = "my_bucket"

storage_client = storage.Client()

bucket = storage_client.get_bucket(bucket_name)

Я новичок во всем этом, прочитал больше страниц документации GCP, чем я могу сосчитать, и вы будете возмущены тем, сколько времени я уделил этому ... пожалуйста, помогите!


person Matan    schedule 16.09.2019    source источник


Ответы (1)


Если проблема заключается в том, как получить доступ к облачному хранилищу из экземпляра виртуальной машины, вы можете получить доступ к облачному хранилищу различными способами, самый простой из которых — использовать инструмент gsutil на вашем экземпляре. Пожалуйста, обратитесь к руководству по установке, где вы можете найти пошаговые инструкции: https://cloud.google.com/storage/docs/gsutil_install.

После установки инструмента у вас есть набор команд, которые вы можете использовать для взаимодействия с облачным хранилищем, его сегментами и объектами. наиболее распространенные варианты использования приведены ниже (примеры кода доступны на нескольких языках):

person Yanan C    schedule 18.09.2019