Я переместил общедоступный набор данных, доступный в виде общедоступного сегмента хранилища Google, в свой собственный сегмент. Размер файла около 10 ГБ. Когда данные перемещались, файл был разделен примерно на 47 сегментов, и все они были сжаты. Я не могу объединить их в один файл. Как их совместить?
Информация, представленная по следующей ссылке, мало помогает:
https://cloud.google.com/storage/docs/gsutil/commands/compose
У меня ведро выглядит так:
Любая помощь будет оценена по достоинству.
Предлагаю вам использовать Cloud Build. Это не самое очевидное решение, но оно бессерверное и дешевое. Идеально подходит для вашего одноразового использования. вот что я предлагаю выполнить
steps:
- name: 'gcr.io/cloud-builders/gsutil'
entrypoint: "bash"
args:
- -c
- |
# copy all your files locally
gsutil -m cp gs://311_nyc/311* .
# Uncompress your file
# I don't know your compression method? gunzip?
# append your file in a merged file. Delete the files after the merge.
for file in $(ls -1 311* ); do cat $file >> merged; rm $file; done
# Copy the file to the destination bucket
gsutil cp merged gs://myDestinationBucket/myName.csv
options:
# Use 1Tb of disk for getting all the files in the same time on the same server.
# I didn't understand is the 10Gb is per uncompressed file or the total size.
# If it's the total file size, I think that this option is useless
diskSizeGb: 1000
# Optionally extend the default 10 minutes timeout if it takes too much time.
timeout: 660s
Комбинировать с помощью nodejs
const { Storage } = require('@google-cloud/storage');
await storage.bucket(bucketName).combine(sourceFilenameList, destFilename)
