В своей предыдущей статье я писал о разработке функций машинного обучения с использованием dbt и Snowpark. https://medium.com/@kakatur/feature-engineering-using-dbt-fed6c7d16460 В этой статье мы используем ту же платформу для разработки моделей машинного обучения и их развертывания в Snowflake. Код сегодняшней статьи находится на GitHub по адресу https://github.com/kakatur/fraud-detection-using-dbt-and-snowpark/blob/main/models/ml/fraud/swipe_fraud_alerts.py Ниже я..

Snowpark — это среда разработки, которая позволяет разработчикам взаимодействовать с облаком данных Snowflake, используя различные языки, отличные от SQL, такие как Python, Java и Scala. Таким образом, вместо того, чтобы писать select * from marts.user.dim_user , вы можете написать это: import snowflake.snowpark as snowpark def main(session: snowpark.Session): df = session.table("marts.user.dim_user") return df (Примечание: приведенный выше код можно написать и на..

Создать новый проект в dbt Перейдите в раздел Настройки аккаунта › Проекты в dbt. Он должен иметь URL-адрес, например: https://cloud.getdbt.com/#/accounts/YOUR_ACCOUNT_NUM/settings/ Нажмите Новый проект . На следующей странице показаны шаги, которые должен предпринять dbt, чтобы подключиться к вашей базе данных и затем управлять кодом в репозитории. Нажмите Начать . Дайте ему имя и Продолжить . Обратите внимание, что это имя находится в пространстве имен вашей..

С ядром DBT, Kedro и Weights & Biases Недавно я участвовал в проекте, связанном с внедрением многоклассовой системы прогнозирования классификации с использованием данных о финансовых транзакциях, включающей более 10 миллионов записей и более 70 классов. В рамках этого проекта я построил оптимизированную сквозную инфраструктуру операций машинного обучения (MLOP), которая хорошо подходит для этого конкретного варианта использования, сохраняя при этом экономическую эффективность...

Snowflake предлагает возможность использовать JavaScript (JS) для написания определяемых пользователем функций (UDF). В этой статье я хочу показать, как автономно тестировать такие пользовательские функции и как можно использовать DBT для их создания в Snowflake. Это не учебник по Snowflake или DBT. Я предполагаю базовые знания как о JavaScript, так и о нем. Для простоты я использую минимальный пример, исключая использование какой-либо среды модульного тестирования JS или более..