По мере того, как компании становятся более зрелыми в использовании искусственного интеллекта для поиска конкурентного преимущества перед своими конкурентами, потребность в хранилище функций становится все более и более важной. Итак, если вы не знаете, что такое хранилище функций, читайте дальше, чтобы узнать о его важности и о том, как оно может помочь вашим командам ML/Data Science.
Что такое магазин функций?
Хранилище функций — это, по сути, система управления данными, которая позволяет компаниям легко получать доступ к данным и находить их для обучения и выполнения своих моделей. Это позволяет компаниям отслеживать весь жизненный цикл данных, используемых моделями, от приема до обслуживания. Хранилище функций также позволяет компаниям легко повторно использовать функции для разных проектов и, в конечном итоге, позволяет командам запускать свои конвейеры данных в стандартизированной архитектуре. Таким образом, хранилище функций является важным инструментом, если вы хотите ускорить разработку машинного обучения и упростить его обслуживание.
Может ли ваша компания жить без него?
Короткий ответ — да, но вы можете тщательно его рассмотреть. Некоторые из проблем, связанных с отсутствием хранилища функций в качестве центрального элемента разработки машинного обучения, включают:
Ненужная сложность во время развертывания.
Чтобы понять этот момент, вам нужно понять, что потребление данных для машинного обучения происходит в два разных момента: время обучения и время вывода. Во время обучения конвейеры машинного обучения должны потреблять данные в пакетах, по своей природе большинство традиционных БД и вариантов больших данных будут служить этой цели. Однако для времени вывода потребление немного отличается, во многих случаях не рекомендуется полагаться на пакетный источник во время вывода, за исключением случаев, когда вы делаете пакетные прогнозы, тогда это должно быть нормально. Если у вас нет хранилища функций, вашим командам нужно будет настраивать разные решения для каждого нового проекта.
Сложность отладки моделей в продакшене
Хороший магазин функций имеет встроенную коррекцию на определенный момент времени. Это способ вернуться в прошлое и использовать те же данные, которые использовались для обучения модели, уже развернутой в рабочей среде. Это очень полезно, когда новая модель работает не так, как ожидалось, и неясно, в чем проблема.
Увеличение стоимости из-за повторной обработки тех же функций
Когда не используется хранилище функций, большинство команд делают так, что они сохраняют свои функции динамическими, что означает, что они пересчитываются при каждом обучении. Это означает, что при обучении новой модели те же функции будут пересчитаны, а это означает, что это тратит время и деньги на вычисления. Это не только пустая трата времени и денег, но и новая проблема: каждая новая версия функции может содержать новые ошибки.
Дрейф функций
Это последний пункт, и он один из самых важных. Это происходит, когда распределение данных меняется и производительность модели ухудшается, но модель не подвергалась переобучению, поскольку новые данные не были доступны во время обучения. При использовании хранилища признаков можно легко автоматизировать переобучение модели на основе мониторинга признаков. Это мощный инструмент, обеспечивающий максимально эффективное машинное обучение в целом.
Последние мысли
Поскольку многие компании все еще очень рано внедряют ИИ, лучше начать его с прочной основы, которая позволит командам двигаться быстрее и быть более продуктивными на устойчивой основе. Хранилище функций — это один, если не самый важный аспект разработки корпоративного машинного обучения. Это относительно новая концепция, которая не была очень популярна в академических кругах из-за различной динамики того, как проекты происходят в каждом контексте. По мере того, как компании продвигаются вперед, применяя современные исследования в своем бизнесе, они должны убедиться, что их бизнес по-прежнему конкурентоспособен и эффективен.
