Развертывание Spark в облаке Azure

Я не думаю, что можно развернуть кластер HDInsight без YARN. См. документацию по HDInsight.

• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-hadoop-introduction
• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-component-versioning

YARN — это менеджер ресурсов для Hadoop. Есть ли какая-то конкретная причина, по которой вы не хотите использовать YARN при работе с кластером HDInsight Spark?

Если вы хотите использовать автономный режим, вы можете изменить расположение основного URL-адреса при отправке задания с помощью команды Spark-submit.

В моем репозитории есть несколько примеров с отправкой Spark как в локальном режиме, так и в кластере HDInsight https://github.com/NileshGule/learning-spark

Вы можете обратиться к

• локальный режим: https://github.com/NileshGule/learning-spark/blob/master/src/main/java/com/nileshgule/movielens/MovieLens.md
• Кластер HDInsight Spark: https://github.com/NileshGule/learning-spark/blob/master/Azure.md

Да, вы можете развернуть кластер Apache Spark в Azure HDInsight без Yarn.

Кластеры Spark в HDInsight включают следующие компоненты, доступные в кластерах по умолчанию.

1)Искровое ядро. Включает Spark Core, Spark SQL, API потоковой передачи Spark, GraphX ​​и MLlib.

2) Анаконда

3) Ливи

4) ноутбук Юпитер

5) Блокнот Цеппелин

Кластеры Spark в HDInsight также предоставляют драйвер ODBC для подключения к кластерам Spark в HDInsight из инструментов бизнес-аналитики, таких как Microsoft Power BI и Tableau.

Обратитесь к следующим сайтам для получения дополнительной информации,

Создание кластера Apache Spark в Azure HDInsight

Введение в Spark в HDInsight