Есть отличная документация по установке пакетов 1 на 1 на лазурных модулях данных, но нет способа сделать эквивалент:
pip install -r requirements.txt
или вообще использовать файл требований. Я управляю довольно большой библиотекой и хотел бы, чтобы простой процесс позволял установить все пакеты / библиотеки одновременно, если это возможно!
Вы можете записать все необходимые библиотеки Python в блокнот следующим образом:
dbutils.library.installPyPI("torch")
dbutils.library.installPyPI("scikit-learn", version="1.19.1")
dbutils.library.installPyPI("azureml-sdk", extras="databricks")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this function
А затем вызовите этот блокнот с помощью волшебной команды %run /path/to/notebook_install_lib. Подробнее читайте в databricks doc.
Среда выполнения Databricks ›= 7.1 поддерживает:
%pip install -r /dbfs/requirements.txt
Чтобы сделать сторонний или созданный локально код доступным для сред выполнения, работающих на ваших кластерах, вы можете установить библиотеку в кластере. Библиотеки могут быть написаны на Python, Java, Scala и R. Вы можете загружать библиотеки Java, Scala и Python и указывать на внешние пакеты в репозиториях PyPI, Maven и CRAN.
Вы можете управлять библиотеками, используя пользовательский интерфейс, интерфейс командной строки и вызывая API библиотек.
Для других методов см. Databricks CLI и API библиотек.
В Databricks Runtime 5.1 и выше вы также можете установить библиотеки Python непосредственно в сеанс записной книжки, используя Библиотечные утилиты. Поскольку библиотеки, установленные в записную книжку, гарантированно не будут мешать библиотекам, установленным в любые другие записные книжки, даже если все записные книжки работают в одном кластере, Databricks рекомендует по возможности использовать этот метод.
Пожалуйста, обратитесь к Create Workspace Library для создания библиотеки. Это довольно просто задача.
Ниже вы можете найти полную документацию по тому же
https://docs.databricks.com/user-guide/libraries.html
Надеюсь, это поможет.
