Публикации по теме 'dbt'
Обучайте модели машинного обучения с помощью dbt и Snowpark
В своей предыдущей статье я писал о разработке функций машинного обучения с использованием dbt и Snowpark.
https://medium.com/@kakatur/feature-engineering-using-dbt-fed6c7d16460
В этой статье мы используем ту же платформу для разработки моделей машинного обучения и их развертывания в Snowflake.
Код сегодняшней статьи находится на GitHub по адресу
https://github.com/kakatur/fraud-detection-using-dbt-and-snowpark/blob/main/models/ml/fraud/swipe_fraud_alerts.py
Ниже я..
Введение в Snowpark Python
Snowpark — это среда разработки, которая позволяет разработчикам взаимодействовать с облаком данных Snowflake, используя различные языки, отличные от SQL, такие как Python, Java и Scala.
Таким образом, вместо того, чтобы писать select * from marts.user.dim_user , вы можете написать это:
import snowflake.snowpark as snowpark
def main(session: snowpark.Session):
df = session.table("marts.user.dim_user")
return df
(Примечание: приведенный выше код можно написать и на..
Как настроить dbt, Google BigQuery и Github (2022 г.)
Создать новый проект в dbt
Перейдите в раздел Настройки аккаунта › Проекты в dbt. Он должен иметь URL-адрес, например: https://cloud.getdbt.com/#/accounts/YOUR_ACCOUNT_NUM/settings/
Нажмите Новый проект .
На следующей странице показаны шаги, которые должен предпринять dbt, чтобы подключиться к вашей базе данных и затем управлять кодом в репозитории.
Нажмите Начать .
Дайте ему имя и Продолжить . Обратите внимание, что это имя находится в пространстве имен вашей..
Включение MLOP в три простых шага
С ядром DBT, Kedro и Weights & Biases
Недавно я участвовал в проекте, связанном с внедрением многоклассовой системы прогнозирования классификации с использованием данных о финансовых транзакциях, включающей более 10 миллионов записей и более 70 классов.
В рамках этого проекта я построил оптимизированную сквозную инфраструктуру операций машинного обучения (MLOP), которая хорошо подходит для этого конкретного варианта использования, сохраняя при этом экономическую эффективность...
Snowflake JavaScript UDF — модульное тестирование и развертывание с помощью DBT.
Snowflake предлагает возможность использовать JavaScript (JS) для написания определяемых пользователем функций (UDF). В этой статье я хочу показать, как автономно тестировать такие пользовательские функции и как можно использовать DBT для их создания в Snowflake.
Это не учебник по Snowflake или DBT. Я предполагаю базовые знания как о JavaScript, так и о нем. Для простоты я использую минимальный пример, исключая использование какой-либо среды модульного тестирования JS или более..