Невозможно создать узлы TPU: RESOURCE_EXHAUSTED

Я использую бесплатную пробную учетную запись для обучения TPU моим моделям глубокого обучения с включенной учетной записью для выставления счетов, и в моей учетной записи все еще есть промокупоны на сумму более 100 долларов США. 2 дня назад мой вытесняемый ТПУ был «вытеснен» в середине тренировки.

С тех пор я несколько раз пытался создать новый TPU в разных регионах, но всегда получал следующую ошибку:

Не удалось создать узел TPU «узел-1». Ошибка: APPLICATION_ERROR; google.cloud.tpu.v1 / Tpu.CreateNode; превышен лимит квоты TPUV2sPodPerProjectPerRegionForTPUAPI, TPUV2sPodPerProjectPerZoneForTPUAPI. Лимит: 0,0 в регионе us-central1, зоне us-central1-a.; AppErrorCode = 8; StartTimeMs = 1591581190314; tcp; Deadline (sec) = 59.972117786; ResFormat = UNCOMPRESSED; Originator = traffic-prod; Tag = cidc2cloudcoming_project40202hod_number6 TpuEntityService.CreateTpu; ServerTimeSec = 1.122048062; LogBytes = 256; Non-FailFast; EffSecLevel = none; ReqFormat = UNCOMPRESSED; ReqID = 7f67b6ac43d18f40; GlobalID = 1fab9c6eb30: 70: 0: 48: 0: 48: 0: 48: 0: 48: 90: 48: 90: 48: 8: 8: 0: 48: 0: 8: 0: 8: 48: 0:. ]: 4001

Я подумал, что это как-то связано с моими квотами, поэтому я проверил свои квоты и увидел, что мои «вытесняемые ядра TPU v3 на проект на регион» и «вытесняемые ядра TPU v3 на проект на зону» равны нулю. Это причина, по которой я не могу создавать новые TPU? Если это причина, то как мне удалось создать свой старый TPU? И самое главное, как это исправить?


person Sea Otter    schedule 08.06.2020    source источник


Ответы (1)


К вашему сведению, ошибка указывает на то, что вы пытаетесь создать модуль v2, но в вашем описании упоминается v3.

В любом случае вы увидите эту ошибку, когда попытаетесь создать узел, для которого вам не хватает квоты, поэтому ваше подозрение верное - вам нужно будет работать в пределах доступной вам квоты или запросить повышение.

person chrislarkin    schedule 08.06.2020
comment
Спасибо за Ваш ответ. Я пытался создать как v2, так и v3 и всегда получал одну и ту же ошибку. Мои квоты в настоящее время равны 0 как для v2, так и для v3 tpu. Так почему я смог создать TPU, который использовал раньше? - person Sea Otter; 08.06.2020
comment
В целом это звучит как проблема с командой / действиями, которые вы выполняете для создания узла, или как то, что ваши квоты изменились с момента последнего успешного выполнения. Я бы порекомендовал зайти в IAM ›Quotas, установить фильтры tpu и cores и посмотреть, какие именно имеют ненулевые значения. Это может быть так же просто, как забыть перевернуть «вытесняемый» бит при создании, но в вашем конкретном случае это сложно сказать. - person chrislarkin; 09.06.2020
comment
Ошибка указывает на то, что вы пытаетесь создать модуль TPU по запросу (v2-32 или более крупный фрагмент), для которого у вас нет квоты. Не могли бы вы проверить квоту, доступную для вашего проекта для v2-8 или v3-8, и попробовать соответственно. - person aman2930; 09.06.2020