Привет, ребята,
В предыдущих статьях мы подробно обсудили компонент основного стека Hadoop (HDFS, YARN, MapReduce) и компоненты стека обработки данных (Apache Pig, Apache HBase, Apache Hive, Apache Cassandra, Apache Spark, Apache Storm, Apache Sqoop и т. д. ). В этой статье мы рассмотрим третий стек эхо-системы Hadoop, который является координирующим стеком.
Итак, приступим…
Инструменты базового стека Hadoop координируют работу различных сервисов в экосистеме Hadoop. Он координируется с компонентами основного стека и стека обработки данных в распределенной среде. Эти инструменты экономят много времени, выполняя различные услуги, такие как синхронизация, обслуживание конфигурации, группировка и т. д. Популярными инструментами стека координации являются:
· Apache ZooKeeper
· Апач Узи
· Апач Атлас
Apache ZooKeeper
Это служба с открытым исходным кодом, используемая для высоконадежной распределенной координации облачных приложений в распределенной среде. ZooKeeper — это служба координации, которая используется Hadoop для управления и координации кластеров в распределенной среде. Он предоставляет механизмы для обмена данными без несоответствий, применяя различные механизмы синхронизации. Он предлагает различные услуги, такие как присвоение имен узлам, синхронизация, блокировка и управление конфигурацией и т. д. Альтернативой zookeeper является Apache Ambari. Для получения дополнительной информации вы можете посетить официальную веб-страницу Apache ZooKeeper. https://zookeeper.apache.org/
Apache Oozie:
Это система планирования, которая используется для управления заданиями Hadoop. Существует ряд технологий, которые могут работать поверх Hadoop для различных целей. Любое приложение для работы с большими данными в реальном времени может использовать Oozie для планирования заданий в среде Hadoop. Oozie может интегрировать различные задания в Hadoop, включая Java MapReduce, Pig, Hive, Sqoop и т. д. Для получения более подробной информации вы можете обратиться к официальной веб-странице Apache Oozie: https://oozie.apache.org/
Атлас Apache
Из-за строгих различных правил по всему миру и возникающих законных требований к использованию данных управление большими данными стало критической проблемой для реальных приложений. Это платформа, которая позволяет компаниям, использующим Hadoop, обеспечивать соответствие своих данных политикам соответствия требованиям управления. Он предоставляет механизмы для управления метаданными, классификации данных по различным категориям, например, личная информация (PII) и конфиденциальные данные. Для получения более подробной информации вы можете посетить официальную веб-страницу Apache Atlas. https://atlas.apache.org/
Заключение
В этой статье я рассмотрел координирующий стек эхо-системы Hadoop и кратко обсудил Apache ZooKeeper, Oozie и Atlas. Эти технологии используются в больших данных и распределенной вычислительной среде. Я уверен, что это даст базовое понимание эхо-системы Hadoop. Если вы заинтересованы в более глубоком изучении технологий больших данных и эхо-системы Hadoop, то это может стать для вас отправной точкой.
Подводя итоги, не стесняйтесь делиться своими комментариями. Ваши лайки и комментарии помогут мне представить контент лучше. Увидимся на следующей неделе
