Гугл мл. Чтение данных и доступ к определенным папкам из корзины

До сих пор для управления получением данных из корзины я использовал download_to_file(), чтобы загрузить их в экземпляр, который он использует, и получить локальный доступ к файлам/папкам. Хотя я хочу добиться возможности просто читать из облака. Как я могу это сделать? Кажется, у меня нет способа создать относительный путь от экземпляра задания ML и облачной корзины Google.


person vr9494    schedule 10.06.2017    source источник


Ответы (1)


Вы можете использовать file_io.FileIO для создания объектов типа file_like для чтения/записи файлов в gcs, локальной или любой другой поддерживаемой файловой системе.

Некоторые примеры см. в этой публикации.

person rhaertel80    schedule 10.06.2017
comment
Я изучал документацию по BLOB-объектам хранилища Google googlecloudplatform.github.io. /google-cloud-python/latest/ . Когда вы прикрепляете файл из GCS к «большому двоичному объекту», он читается системой как этот файл? - person vr9494; 11.06.2017
comment
Если вы используете этот класс, вам придется использовать один из методов класса, например. download_as_string или download_to_file. Хотя в некоторых случаях загрузка файла может иметь смысл, обычно вы будете использовать программы чтения TensorFlow (tensorflow.org /programmers_guide/), и в этом случае вы просто предоставляете читателям пути GCS. - person rhaertel80; 12.06.2017