Термин «магазин функций» очень часто используется в наши дни. Этот пост пытается пролить свет и прояснить тему.
Но прежде чем мы перейдем к магазинам функций,
Что такое особенности?
Элементы - это независимые свойства, которые действуют как входные данные для вашей модели. Рассмотрим модель
y = f(x)
Здесь x - ваш входной вектор, y - ваш выходной вектор, а f - ваша модель. Каждый столбец в x - это характеристики вашей модели. Модель машинного обучения учится на этой функции и обновляет ее параметры во время обучения, чтобы иметь возможность делать хорошие прогнозы для выходных данных.
В настоящее время,
Что такое магазины функций?
Я познакомился с Feature Stores, когда посетил apply (). Проще говоря, Feature Store - это хранилище данных, в котором хранятся функции. Звучит прямо, правда? Так почему бы просто не создать базу данных SQL или BigTable и покончить с этим? Что делает магазины функций такими особенными? Что ж, реализация - вот что делает его особенным. Итак, давайте посмотрим, зачем нам нужны магазины функций, чтобы понять это.
Почему специализированные магазины?
Чтобы понять, зачем нам нужны хранилища функций, нам нужно знать, каковы различные фазы жизненного цикла машинного обучения. Они перечислены ниже.
- Планирование - понимание проблемы и бизнес-целей, определение целевой переменной и потенциальных функций, рассмотрение любых возможных ограничений и определение показателей успеха.
- Данные - собирайте, исследуйте и очищайте свои данные
- Моделирование - Постройте свою модель (выберите, обучите и оцените свою модель)
- Производство - Разверните свою модель и следите за ней, чтобы выявить любые немедленные или будущие проблемы.
Теперь, когда мы знаем жизненный цикл машинного обучения, мы понимаем, что нам нужны функции на двух этапах - моделирование и производство.
При моделировании нам потребуются функции для обучения нашей модели. В процессе производства мы можем не получить все функции из запросов на прогнозирование. Так что нам, возможно, придется извлечь недостающие функции.
Несмотря на то, что на обоих этапах могут потребоваться одни и те же данные, их требования немного различаются. При моделировании будут использоваться большие объемы данных. Таким образом, хранилище данных должно быть оптимизировано, чтобы справиться с этим. В производственной среде нам понадобятся данные с очень низкой задержкой, чтобы сократить время отклика наших сервисов.
Магазины функций состоят из двух компонентов - автономного магазина и интернет-магазина.
Офлайн-хранилища, как правило, представляют собой высокопроизводительные хранилища данных, такие как BigTable и Delta Tables. Это используется обучающими заданиями для получения больших объемов данных для обучения модели.
Интернет-магазины представляют собой хранилища данных с малой задержкой, такие как Redis, AmazonRDS, sqlite и т. Д. Они используются службами прогнозирования для получения необходимых функций и составления прогнозов.
Redis - это база данных в памяти. AmazonRDS - это облачное хранилище данных. Также можно использовать Google Cloud Datastore.
Хранилища функций с помощью своих API-интерфейсов добавляют уровень абстракции, чтобы специалисты по данным и инженеры по машинному обучению могли иметь доступ к одним и тем же данным, а также удовлетворять свои требования.
Где вы используете магазин функций?
Как правило, конвейеры функций генерируют функции, которые требуются модели, и отправляют данные в автономное хранилище. Модель обучает модель, используя эти данные. После того, как модель успешно обучена и готова к развертыванию, данные из автономного магазина отправляются в онлайн-магазин, чтобы новая модель могла начать доступ к ней после развертывания.
Как начать пользоваться магазином функций?
Доступно множество магазинов функций. Сообщество MLOps предлагает отличное сравнение различных магазинов доступных функций. Вы можете найти это здесь". Я лично экспериментировал с Feast и Databricks Feature store, и они довольно хороши и имеют достаточно функций для выполнения работы и некоторые другие.
Более подробную информацию о Feature Stores можно найти здесь.
