GKE - извлечение ErrImagePull из реестра контейнеров Google

В моем случае проблема оказалась в том, что в пулах узлов, сгенерированных минимальным файлом спецификации, отсутствуют области oauth2, которые предоставляют доступ к реестру. Добавление

nodePools:
  config:
    oauthScopes:
    - https://www.googleapis.com/auth/devstorage.read_only
    - https://www.googleapis.com/auth/servicecontrol
    - https://www.googleapis.com/auth/service.management.readonly
    - https://www.googleapis.com/auth/trace.append

в соответствии с моей спецификацией исправленные вещи. Я думаю, что важна devstorage область видимости, но я не уверен, так как я просто скопировал весь список областей из спецификации, создаваемой веб-консолью.

Хорошо, это оказалось непросто, но причина была в следующем:

Я использовал Terraform для установки учетной записи службы для узлов в кластере GKE, но вместо использования вывода email ресурса google_service_account для указания учетной записи службы я использовал вместо этого вывод unique_id. Это было хорошо принято как Terraform, так и Google Cloud API.

Когда Kubernetes (и другие вещи) пытался получить доступ к внутреннему API метаданных на каждом узле, чтобы получить токен, который он мог бы использовать, он получал ответ Service account is invalid/disabled и статус 403.

Повторное создание пула узлов с правильно указанной учетной записью службы устранило проблему.

У меня возникла та же проблема, когда я создал кластер с помощью terraform. Во-первых, я указал только service_account в node_config, поэтому пул узлов был создан со слишком маленькими областями действия OAuth. Явно напишите как service_account, так и oauth_scope, как показано ниже, узлы могут извлекать изображения из частных репозиториев GCR.

resource "google_container_node_pool" "primary_preemptible_nodes" {
  node_config {
    service_account = "${google_service_account.gke_nodes.email}"

    oauth_scopes = [
      "storage-ro",
      "logging-write",
      "monitoring"
    ]
  }
}

В моем случае установка правильных областей oAuth не сработала. Поэтому я просто настроил его для любого другого частного репозитория, добавив imagePullSecrets в свою спецификацию Pod.

Документы Kubernetes | Получение изображения из частного реестра

Пример сценария для создания учетных данных реестра в конвейере

Вы также можете сделать это вручную, если сейчас не управляете своей инфраструктурой как кодом.

# Setup registry credentials so we can pull images from gcr
gcloud auth print-access-token | docker login -u oauth2accesstoken --password-stdin https://gcr.io

kubectl create secret generic regcred \
    --namespace=development \
    --from-file=.dockerconfigjson="${HOME}/.docker/config.json" \
    --type=kubernetes.io/dockerconfigjson \
    --output yaml --dry-run | kubectl apply -f - # create or update if already created

Образец файла развертывания

(Не обращайте внимания на все замены). Это не имеет значения. Просто проверьте последнюю строку файла yaml.

apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: ${NAMESPACE}
  name: ${PROJECT_PREFIX}-${PROJECT_TYPE}-${PROJECT_NAME}
  labels:
    name: ${PROJECT_PREFIX}-${PROJECT_TYPE}-${PROJECT_NAME}
spec:
  replicas: ${REPLICA_COUNT}
  selector:
    matchLabels:
      name: ${PROJECT_PREFIX}-${PROJECT_TYPE}-${PROJECT_NAME}
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
  template:
    metadata:
      labels:
        name: ${PROJECT_PREFIX}-${PROJECT_TYPE}-${PROJECT_NAME}
    spec:
      containers:
        - name: ${PROJECT_PREFIX}-${PROJECT_TYPE}-${PROJECT_NAME}
          image: gcr.io/${GOOGLE_PROJECT_ID}/${PROJECT_TYPE}-${PROJECT_NAME}:${GITHUB_SHA}
          imagePullPolicy: IfNotPresent
          ports:
            - name: http
              containerPort: ${PORT}
              protocol: TCP
          readinessProbe:
            httpGet:
              path: /${PROJECT_NAME}/v1/health
              port: ${PORT}
            initialDelaySeconds: 0
            timeoutSeconds: 10
            periodSeconds: 10
          resources:
            requests:
              cpu: ${RESOURCES_CPU_REQUEST}
              memory: ${RESOURCES_MEMORY_REQUEST}
            limits:
              cpu: ${RESOURCES_CPU_LIMIT}
              memory: ${RESOURCES_MEMORY_LIMIT}
          env:
            - name: NODE_ENV
              value: ${NODE_ENV}
            - name: PORT
              value: '${PORT}'
      imagePullSecrets:
        - name: regcred

Проверьте события узла на предмет фактической ошибки. Для меня он сказал:

Failed to pull image "gcr.io/project/image@sha256:c8e91af54fc17faa1c49d2a05def5cbabf8f0a67fc558eb6cbca138061b8400a":
 rpc error: code = Unknown desc = error pulling image configuration: unknown blob

Оказалось, что изображение пропало или испорчено. После повторного нажатия изображения все заработало.