Машинное обучение — одна из самых интересных тем в любой отрасли в наши дни. К счастью, у нас есть множество фреймворков для машинного обучения и глубокого обучения (Tensorflow, pytorch и MXnet), которые позволяют легко превратить гипотезу в реальное программное решение, основанное на науке и математике. Управление и согласование моделей с изменяющимися данными. Обеспечение качества данных, поступающих в модели. Гибкость использования моделей A/B для решения одной и той же гипотезы. Качество и анализ этих моделей. Экосистема сложной программной системы сама по себе является сложной задачей.

В этой статье я расскажу об услугах, которые помогут с этой задачей. Наука о данных — это не только область, которая очень близка к бизнес-проблеме, но и имеет достаточно инженерных аспектов, связанных с ней, поэтому мы должны учитывать различные процессы и услуги, необходимые для создания устойчивой и надежной системы машинного обучения.

С точки зрения услуг ниже приведены некоторые

Служба управления изменениями данных: поскольку модели сходятся и выводят изменения с данными, которые передаются в модели, и очевидно, что мы должны каким-то образом согласовывать версии данных с версией модели. Необходима служба управления изменениями, которая автоматически отслеживает и упорядочивает версии данных относительно версий кода ваших моделей и тегов реестра контейнеров. Эта услуга также помогает с точки зрения возможности повторного использования и, таким образом, помогает сократить расходы. На рисунке 1 ниже показан процесс, как этот сервис должен управлять версиями данных и моделей посередине.

Служба проверки данных — это еще одна услуга, которая важна для этих систем машинного обучения. Она предоставляет возможность проверять изменения в данных, проверять типы функций, аномалии в данных из различных версий, ожидаемые функции, присутствующие в данных. В документе от KDD 2017, TFX: платформа машинного обучения производственного масштаба на основе TensorFlow от Google, также упоминается важность этого сервиса. Tensorflow также выпустил пакет TFDV (проверка данных тензорного потока), который помогает в разработке этого сервиса.

Служба проверки данных будет слоем над данными и между моделью обучения и моделью вывода. В него должны быть встроены проверки (например, смещение, аномалия, проверка функций), которые он должен проверять на наличие изменений данных и отправлять соответствующие флаги моделям, чтобы они продолжали или нет.

В следующей статье я расскажу о дополнительных услугах, которые следует учитывать, а также о процессах, которые помогут создать систему машинного обучения.