Публикации по теме 'dvc'


Эксперименты с машинным обучением с контролем версий
В настоящее время обучение на основе данных для получения бизнес-информации является обычным делом практически для каждой отрасли. Эти идеи включают в себя предсказуемость, поведение оттока клиентов, прогнозирование и т. Д. Машинное обучение является ключевым игроком в генерации этих идей. Построение хорошей модели машинного обучения требует множества экспериментов, которые включают в себя несколько итераций различных алгоритмов над данными, создание новых переменных, добавление..

Управление версиями модели ML и данных с использованием DVC
Что такое ДВК DVC — это инструмент, который помогает поддерживать контроль версий моделей ML и набора данных. DVC построен поверх Git, что уменьшает разрыв между исходным кодом модели и весами модели. Как установить ДВК Мы можем установить DVC с помощью менеджера пакетов Conda. cmd: conda install -c conda-forge dvc Как использовать ДВК Основа DVC состоит из нескольких команд, которые вы можете запускать вместе с git для отслеживания больших файлов, каталогов или файлов..

Контроль версий данных для моделей машинного обучения
Зачем нужен контроль версий данных? При разработке программного обеспечения контроль версий необходим для управления различными версиями кода, чтобы инженеры могли отслеживать изменения, а также для целей воспроизведения. GitHub — один из самых распространенных инструментов, и он хорош для текстовых файлов, в которых хранится большая часть программного кода. Управление версиями для машинного обучения (ML) похоже на разработку программного обеспечения, но в некотором смысле сложнее,..

ML Pipeline Decoupled: мне удалось написать независимый от фреймворка ML Pipeline с помощью DVC, Rust и Python
Развязка конвейера машинного обучения: мне удалось написать конвейер машинного обучения, не зависящий от фреймворка, с помощью DVC, Rust и Python Большинство оркестраторов конвейеров машинного обучения считают Python основным поддерживаемым языком. Кроме того, большинство из них (Kedro, Metaflow и т. д.) являются конвейерами на основе декораторов, где вам нужно использовать python с каким-либо декоратором для определения конвейера. Но что, если вы хотите иметь более экономичное и..

Сердцебиение DVC
Это самый первый выпуск DVC❤️Heartbeat. Каждый месяц мы будем делиться нашими новостями, открытиями, интересными материалами для чтения, выводами сообщества и всем остальным в процессе. Некоторые из них связаны с нашим детищем DVC и его путешествием. Остальные - это сборник захватывающих историй и идей, основанных на лучших практиках и рабочем процессе машинного обучения. Новости и ссылки Мы читаем массу статей и сообщений каждый день, и вот несколько из них, которые привлекли..

Вопросы по теме 'dvc'

Контроль версий для набора данных машинного обучения с большим количеством изображений?
Мы начинаем использовать dvc с git для управления версиями проектов машинного обучения. Для удаленного хранения dvc мы используем облачное хранилище Google. Наш набор данных представляет собой набор данных OCR с более чем 100 000 небольших...
585 просмотров

Получение этой странной ошибки при попытке запустить DVC pull
Я новичок в использовании DVC и просто изучаю его. Я пытаюсь извлечь данные из s3, которые были отправлены другим человеком в моей команде. Но я получаю эту ошибку: WARNING: Some of the cache files do not exist neither locally nor on remote....
2325 просмотров
dvc
schedule 27.03.2023

Отменить команду dvc remove -p
Я только что по ошибке удалил файл отслеживания DVC с помощью команды dvc remove training_data.dvc -p , что привело к полной потере всего моего набора обучающих данных. Я знаю, что в Git мы можем легко восстановить удаленную ветку на основе ее хэша....
240 просмотров
dvc
schedule 25.01.2023

Инициализация репозитория DVC вызывает ошибку
Я пытаюсь использовать DVC и следую этому руководству kaggle, как описано в этом блокнот . Всякий раз, когда я пытаюсь использовать команду ! dvc init , я получаю следующую ошибку: 'dvc' is not recognized as an internal or external command,...
275 просмотров
schedule 29.07.2023

обновление данных в реестре dvc из других проектов
У меня есть несколько проектов, которые используют и обновляют одни и те же источники данных. Недавно я узнал об реестрах данных dvc , которые кажутся отличным способом управления версиями. данные по этим различным проектам (например, парсеры,...
83 просмотров
schedule 11.12.2023

dvc add -external S3://mybucket/data.csv не работает с ошибкой доступа даже после предоставления правильных конфигураций удаленного кеша
Я использую dvc и подключаюсь к удаленному S3 для отслеживания данных, а также устанавливаю удаленный кеш dvc на том же удаленном S3. Ниже приведен файл конфигурации, [core] remote = s3remote [cache] s3 = s3cache [‘remote “s3remote”’]...
89 просмотров