dvc add -external S3://mybucket/data.csv не работает с ошибкой доступа даже после предоставления правильных конфигураций удаленного кеша

Я использую dvc и подключаюсь к удаленному S3 для отслеживания данных, а также устанавливаю удаленный кеш dvc на том же удаленном S3. Ниже приведен файл конфигурации,

[core]
    remote = s3remote
[cache]
    s3 = s3cache
[‘remote “s3remote”’]
    url = S3://dvc-example
    endpointurl = http://localhost:9000/
    access_key_id = user
    secret_access_key = password
    use_ssl = false
[‘remote “s3cache”’]
    url = s3://dvc-example/cache
    endpointurl = http://localhost:9000/
    access_key_id = user
    secret_access_key = password
    use_ssl = false

Я могу нажимать и извлекать из удаленного репозитория в локальный с помощью s3remote.

Но когда я пытаюсь добавить внешние данные, настроив кеш (s3cache), я получаю сообщение об ошибке.

Оба s3cache, s3remote имеют одинаковые учетные данные, тогда почему происходит сбой, когда я добавляю внешние данные в dvc?


person veeresh patil    schedule 15.04.2021    source источник
comment
Похоже, что на это есть ответ в discuss.dvc.org/t/ .   -  person Jorge Orpinel Pérez    schedule 15.04.2021
comment
Да, спасибо @JorgeOrpinel   -  person veeresh patil    schedule 16.04.2021


Ответы (1)


Нам нужно использовать специальный формат remote:// URL для add --external данных с использованием существующих удаленных конфигураций:

dvc add --external remote://s3remote/wine-quality.csv

wine-quality.csv находится по адресу s3://dvc-example/wine-quality.csv, здесь remote://s3remote заменяется строкой url в файле конфигурации.

Я получил ответ после публикации вопроса на форуме DVC. Ссылка на ответ

person veeresh patil    schedule 16.04.2021