Как удалить библиотеки, уже удаленные из рабочей области Azure Databricks

После удаления библиотеки jar, добавленной с выбором «Установить автоматически на всех кластерах», библиотека по-прежнему автоматически устанавливается на всех кластерах в рабочей области. Мне нужно удалить или отключить автоматическую установку библиотеки.

Я импортировал библиотеку из Maven в свою рабочую область Azure Databricks. Как только вышла новая версия, я добавил новую версию и просто удалил банку старой версии из рабочей области.

Старая версия была добавлена ​​в рабочую область с поведением «Автоматически устанавливать на всех кластерах» и по-прежнему устанавливается во всех новых кластерах, созданных в рабочей области, даже если jar отсутствует в графическом интерфейсе пользователя. Поскольку jar отсутствует (из графического интерфейса), я не могу изменить поведение jar-файла «Автоматическая установка на всех кластерах», а Databricks не позволяет вручную отключать автоматически установленные библиотеки из кластера (из представления кластера).

Я попытался прочитать ту же библиотеку (ту же версию) из Maven central и установить новую банку в кластере, чтобы увидеть, не отменяет ли это старую установку, надеясь, что я смогу изменить поведение таким образом. К сожалению, когда я пытаюсь добавить недавно загруженную версию в кластер с уже автоматически установленной библиотекой, установка застревает в ожидании на неопределенный срок.

Любые идеи о том, как исправить это без необходимости настраивать новое рабочее пространство, были бы замечательными.


azure-databricks databricks
person Molotch    schedule 17.01.2019    source источник

Ответы (2)


arrow_upward
3
arrow_downward

Это ошибка в Databricks (и похоже, что она существует уже давно!). Если вы отметили Автоматическая установка на всех кластерах, а затем удалили общие библиотеки, он установит их на все новые кластеры и не может быть удален.

Чтобы удалить его, перейдите в общую рабочую область и создайте новую библиотеку. Введите точно такой же пакет и нажмите «Создать». На следующем экране теперь вы можете снять флажок «Установить автоматически на всех кластерах» и удалить его из кластеров, где он уже установлен. Затем вы можете переместить новую библиотеку в корзину.

Престижность этой публикации на форумах Databricks за выяснение этого: https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html

person Rodney    schedule 02.05.2019
comment
Спасибо, что разместили здесь ссылку, надо было это сделать. Это мой вопрос на форуме Databricks. :) - person Molotch; 02.05.2019
comment
Ха-ха, хорошо, я уверен, что мы все идем по одному и тому же процессу при поиске информации - person Rodney; 03.05.2019

arrow_upward
1
arrow_downward

Пару вариантов. Сначала проверьте вкладку «Библиотека» в кластерах и посмотрите, можно ли удалить ее оттуда. Если нет, откройте блокнот и запустите:

%fs ls "/FileStore/jars/

Здесь кешируются библиотеки. Если вы можете определить, какая из них является вашей библиотекой, вы можете удалить ее и перезапустить кластер.

person simon_dmorias    schedule 18.01.2019
comment
Спасибо за вклад. Я удалил банку и выключил все кластеры, надеясь, что это что-то изменит. Но когда я перезапускаю кластер, в нем все еще установлена ​​библиотека. Пробовал удалить библиотеку через CLI, не повезло. Пытался создать новый кластер, но библиотека по-прежнему устанавливается автоматически. Где-то должны быть выставлены эти настройки. К сожалению, в интерфейсе командной строки нет API для изменения флага «Автоматическая установка» в библиотеках. - person Molotch; 18.01.2019
comment
Вы создали сценарий инициализации? Это могло быть виновником. В противном случае я бы поднял заявку в службу поддержки. - person simon_dmorias; 18.01.2019
comment
Нет, никаких сценариев инициализации. Я запрошу запрос. Спасибо за помощь. - person Molotch; 18.01.2019