Colab - Сохранить модель / историю после обучения TPU

Я использую TPU, предоставленный Colab, и обучение проходит хорошо. Но есть некоторые проблемы, когда я использую обратные вызовы, пытаясь сохранить модель и потерю обучения.

Сначала я монтирую свой диск и передаю путь, то есть "/content/drive/MyDrive/records/", и ошибки не возвращаются. Но потом я узнал, что ничего не спасено.

Пример будет таким:

csv_logger = CSVLogger("/content/drive/MyDrive/records/model_history_log_TPU.csv", append=True)

И ничего не произошло.

Затем я попытался сохранить их в Google Cloud Storage, поэтому я передал путь как gs://my-bucket/records/, но ошибка возвращается:

FileNotFoundError: [Errno 2] No such file or directory

Итак, мой вопрос: как правильно сохранить эти данные?


google-cloud-platform tensorflow tpu
person sealpuppy    schedule 04.05.2021    source источник
comment
Не могли бы вы рассказать, какое руководство вы использовали? Как вы смонтировали GDrive? Вы создали корзину GCS перед тем, как что-то предпринять? В этом руководстве вы можете увидеть это для экономии Модель Keras используется model.save(). Вы использовали подобный метод, чтобы сохранить свой? Не могли бы вы поделиться этим фрагментом кода?   -  person PjoterS    schedule 04.05.2021
comment
@PjoterS Спасибо за ответ. Я использовал тот же учебник, которым вы поделились. И да, я создал собственное ведро для хранения данных. Я написал from google.colab import drive и drive.mount('/content/drive') для монтирования GDrive. Я использовал model.save_weights("weights.h5"), и он невероятно медленный.   -  person sealpuppy    schedule 05.05.2021
comment
У меня также есть обратный вызов, который сохраняет модель в конце каждой эпохи   -  person sealpuppy    schedule 05.05.2021
comment
Не могли бы вы также поделиться фрагментом кода, в котором вы сохраняете свою модель и обратные вызовы. Кроме того, не могли бы вы сказать, работают ли прогнозы так, как ожидалось?   -  person PjoterS    schedule 07.05.2021
comment
Обратитесь к другому вопросу, который я задал: stackoverflow.com/questions/67419887/. И я не совсем уверен, что это предсказание работает. Поскольку у меня проблемы как с проверкой, так и с сохранением моделей ...   -  person sealpuppy    schedule 07.05.2021