Матурин Аше
Эта серия сообщений в блоге будет состоять из 3 этапов:
- Первая запись в блоге расскажет об отслеживании экспериментов: что такое отслеживание экспериментов? Почему важно отслеживать эксперименты? Каков наиболее распространенный способ организации данных, пайплайна и моделей в эксперименте?
- Второй пост в блоге будет посвящен теме экспериментального отслеживания с использованием платформы Prevision.io без написания ни строчки кода.
- Третий пост в блоге будет посвящен отслеживанию экспериментов путем объединения обучения вне платформы и мониторинга на платформе Prevision.io. Это завершит настоящую серию сообщений в блоге.
В этом посте мы собираемся ответить на этот вопрос:
- Как я могу воспользоваться отслеживанием экспериментов и другими преимуществами, включенными в платформу Prevision.io, продолжая строить свой эксперимент вне платформы и/или с помощью сторонних решений?
Если вы используете другую среду для обучения своих моделей и хотите воспользоваться решениями для отслеживания экспериментов, предлагаемыми Prevision.io:
- Вы загружаете и подготавливаете данные в своей среде, в блокноте Kaggle или в Google Colab
2. Вы обучаете одну или несколько моделей в своей среде, в записных книжках Prevision.io, в записной книжке Kaggle или в Google Colab и экспортируете их в формат ONNX.
Для каждой модели, указанной выше, вы увидите часть, которая состоит из преобразования модели из формата обучения scikit в формат ONNX, который, как ожидается, будет обрабатываться на платформе Prevision.io.
3. Вы загружаете модели данных, файлы конфигурации с помощью пользовательского интерфейса.
Настройка внешней модели
Процесс импорта вашей внешней модели
Настройка внешнего эксперимента
Для каждой внешней модели необходимо задать имя, yaml с конфигурацией функций,
и файл ONNX, содержащий модель
Вы можете импортировать столько моделей, сколько хотите
Чтобы пойти дальше, импорт внешней модели использует стандартизированный формат ONNX, и большинство стандартных библиотек ML имеют модуль для экспорта.
Через несколько минут вы получите панель со всеми моделями.
Теперь вы можете оценить свой эксперимент.
Информация о внешней модели
Важность внешней функции модели
Матрица путаницы внешней модели
Показатели внешней модели
Хорошие новости: после импорта вы по-прежнему можете воспользоваться проницательной аналитикой, доступной для моделей, обученных внутри компании.
4. Вы загружаете модели данных и соответствующие файлы конфигурации с помощью SDK (Python или R).
5. После развертывания импортированной модели вы можете использовать ее периодически (каждый час, каждый день, каждый месяц...).
Чтобы перейти к развертыванию, я отсылаю вас к абзацу, объясняющему, как развертывать эксперимент, в статье 2 этой серии или в документации здесь https://previsionio.readthedocs.io/fr/latest/studio/deployments/index.html.
Заключение
В этом руководстве мы прошли весь процесс отслеживания экспериментов с использованием Prevision.io.
Как мы видели, для специалиста по данным важно документировать различные итерации на всех этапах проекта по науке о данных: от приема данных до проектирования функций, выбора модели, настройки гиперпараметров, при доступе к углубленному визуальному анализу, пока модель развернута и находится в производстве.
Первоначально опубликовано на https://content.prevision.io.
