Хранилище Google Colab

Да, объем локального хранилища ноутбука Colab сейчас составляет около 40 ГиБ. Один из способов узнать точное значение (в Python 3):

import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

Однако для больших объемов данных локальное хранилище - неоптимальный способ подачи питания на TPU, который не подключен напрямую к машине, на которой работает ноутбук. Вместо этого рассмотрите возможность хранения большого набора данных в хранилище GCP и получения этих данных из записной книжки Colab. (Более того, объем локального хранилища Colab может измениться, а срок действия самого ноутбука Colab истечет через несколько часов, вместе с локальным хранилищем.)

Взгляните на канонический блокнот TPU Colab. Внизу приведены некоторые следующие шаги, которые включают ссылку на Поиск Шекспира с помощью TPU. В этой записной книжке находится следующий фрагмент кода, который демонстрирует аутентификацию GCP для вашего Colab TPU. Это выглядит так:

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''

В настоящее время объем локального хранилища в colab зависит от выбранного типа среды выполнения аппаратного ускорителя:

# Hardware accelerator none
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

# Hardware accelerator GPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay         359G   23G  318G   7% /

# Hardware accelerator TPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

Даже если вам не нужен графический процессор, переключение на этот тип среды выполнения предоставит вам дополнительные 310 ГБ дискового пространства.