🐂 Вносите свой вклад в массивные наборы данных за считанные секунды с помощью удаленных рабочих мест Oxen.ai

Наборы данных, используемые для обучения и сравнительного анализа моделей машинного обучения, невероятно велики и продолжают быстро расти. ImageNet, базовый набор данных для задач распознавания визуальных объектов, состоит из 14 миллионов изображений более чем 20 000 классов. Common Crawl (подмножество которого использовалось при обучении моделей OpenAI GPT) содержит петабайты текста, извлеченного из Интернета. Хотя эти базовые наборы данных имеют решающее значение для разработки надежных, обобщаемых моделей глубокого обучения, они слишком велики, чтобы люди могли полностью понять, расширить или внести свой вклад без доступа к огромным вычислительным ресурсам.

Если мы хотим совместно работать над массивными открытыми наборами данных, локальная загрузка zip-файлов, содержащих гигабайты изображений или текста, просто для изменения или добавления нескольких ключевых наблюдений — это дорогостоящая трата пропускной способности, хранилища и времени разработки.

В Oxen мы работали над тем, чтобы сделать вклад в любой набор данных простым и эффективным. С удаленными рабочими местами Oxen вы можете быстро расширять, проверять и изменять наборы данных машинного обучения со всеми преимуществами контроля версий — локальные загрузки не требуются.

Что такое Оксен?

Oxen.ai — это проект с открытым исходным кодом, который делает управление версиями наборов данных так же быстро и просто, как управление версиями кода.

Он оптимизирован для молниеносной работы именно с теми типами данных, которые чаще всего используются в крупных проектах AI/ML, включая изображения, видео, аудио, текст и табличные кадры данных.

В следующем примере показано, как собирать данные для задачи компьютерного зрения по обнаружению объектов, но думайте о Oxen как о центре для всех ваших рабочих процессов со структурированными или неструктурированными данными.

Узнать больше и посмотреть инструкцию по установке можно здесь:

Без Быков…

Давайте рассмотрим пример внесения вклада в большой набор обучающих данных путем добавления дополнительных обучающих наблюдений. Мы будем использовать набор данных обнаружения объектов Meta EgoObjects, но все те же преимущества применимы к рабочим процессам текстовых, видео, аудио и даже табличных данных.

Мы начнем с попытки внести свой вклад в этот набор данных без использования Oxen. После быстрого поиска мы переходим на страницу распространения набора данных и находим…

…файл .zip размером 42,9 ГБ, который настраивает нас на многодневную загрузку и огромную трату инженерного времени и ресурсов. Даже без времени загрузки нам пришлось бы отправить электронное письмо команде MetaAI, чтобы внести какие-либо изменения в этот набор данных и выпустить его в виде другого zip-файла.

Участие с удаленными рабочими местами Oxen

Поскольку у нас не так много свободного времени или памяти, мы можем перейти к репозиторию Oxen, чтобы легко просматривать, загружать и изменять те же данные из командной строки. Даже без загрузки мы можем начать ковыряться и смотреть, что находится в наборе данных.

С традиционной системой управления версиями, такой как git + git-lfs, нам сначала пришлось бы локально клонировать весь репозиторий, изменить файл, а затем отправить изменения.

Вместо этого Oxen позволяет вам передавать флаг --shallow при клонировании, который извлекает только необходимые метаданные для взаимодействия с системой контроля версий в облаке. Это занимает секунды, а не часы, чтобы начать.

# Create a shallow clone of the repo

oxen clone https://hub.oxen.ai/ox/EgoObjectsChallenge --shallow

Теперь у нас есть полнофункциональный репозиторий Oxen в режиме remote, без необходимости локальной загрузки каких-либо данных, которыми мы не заинтересованы в управлении.

Мы можем взаимодействовать с ним со всеми знакомыми командами в стиле git, с постфиксом remote, чтобы указать, что мы работаем с виртуальной копией удаленного репозитория. Думайте об этом как о легкой оболочке на удаленной машине, где вы вносите все фактические изменения.

Внесение удаленного вклада

Давайте создадим ветку в этом репозитории и добавим в наш обучающий набор дополнительное изображение, например, кофеварку ниже:

# Move the image into the correct folder in the repo 
mkdir EgoObjectsChallenge/images
cp coffee-pot.jpg EgoObjectsChallenge/images
cd EgoObjectsChallenge

# Create a development branch and push it to the remote 
oxen checkout -b dev 
oxen push origin dev 

# Remotely stage the image 
oxen remote add images/coffee-pot.jpg

Поскольку мы добавляем изображение в обучающий набор, нам также необходимо обновить наш файл обучающих меток, чтобы указать путь к этому новому изображению. Мы можем быстро просмотреть его в интерфейсе командной строки Oxen, чтобы понять схему:

… и добавьте строку в DataFrame с нашим новым наблюдением!

Теперь мы удаленно подготовили добавление изображения и модификацию метки и готовы к фиксации.

(Для тех, кто знаком с git, обратите внимание, что здесь не требуется команда push, так как мы создаем фиксацию непосредственно на удаленном компьютере.)

🎉 Та-да! Коммит, изображение, метка и строка были добавлены в нашу ветку dev в OxenHub.

Подведение итогов

Удаленные рабочие пространства Oxen позволяют легко и просто вносить свой вклад в некоторые очень тяжелые наборы данных. Одни только эти рабочие процессы командной строки обеспечивают значительное улучшение скорости итерации и воспроизводимости по сравнению с загрузкой и передачей файлов с именами вроде Dataset_train_v3_recent_final_FINAL.zip, но это только начало.

Мы больше всего рады широкому спектру гибких версий данных с минимальным кодом и без кода, которые могут обеспечить удаленные рабочие места. Следите за этим пространством, чтобы узнать о предстоящем руководстве, показывающем, как внести свой вклад в репозитории данных Oxen, просто отправив электронное письмо!

Нам бы очень хотелось увидеть, что вы строите с помощью этих инструментов! Пишите по адресу [email protected], следите за нами в Твиттере @oxendrove, ставьте нам ⭐ на GitHub, углубляйтесь в документацию или Зарегистрируйтесь в Oxen сегодня.