Можно ли развернуть искровой код в облаке Azure без компонента пряжи? заранее спасибо
Развертывание Spark в облаке Azure
Ответы (2)
Я не думаю, что можно развернуть кластер HDInsight без YARN. См. документацию по HDInsight.
- https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-hadoop-introduction
- https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-component-versioning
YARN — это менеджер ресурсов для Hadoop. Есть ли какая-то конкретная причина, по которой вы не хотите использовать YARN при работе с кластером HDInsight Spark?
Если вы хотите использовать автономный режим, вы можете изменить расположение основного URL-адреса при отправке задания с помощью команды Spark-submit.
В моем репозитории есть несколько примеров с отправкой Spark как в локальном режиме, так и в кластере HDInsight https://github.com/NileshGule/learning-spark
Вы можете обратиться к
- локальный режим: https://github.com/NileshGule/learning-spark/blob/master/src/main/java/com/nileshgule/movielens/MovieLens.md
- Кластер HDInsight Spark: https://github.com/NileshGule/learning-spark/blob/master/Azure.md
Да, вы можете развернуть кластер Apache Spark в Azure HDInsight без Yarn.
Кластеры Spark в HDInsight включают следующие компоненты, доступные в кластерах по умолчанию.
1)Искровое ядро. Включает Spark Core, Spark SQL, API потоковой передачи Spark, GraphX и MLlib.
2) Анаконда
3) Ливи
4) ноутбук Юпитер
5) Блокнот Цеппелин
Кластеры Spark в HDInsight также предоставляют драйвер ODBC для подключения к кластерам Spark в HDInsight из инструментов бизнес-аналитики, таких как Microsoft Power BI и Tableau.
Обратитесь к следующим сайтам для получения дополнительной информации,
Создание кластера Apache Spark в Azure HDInsight