Video: Hadoop Yarn Tutorial | Hadoop Yarn Architecture | Hadoop Tutorial For Beginners | Edureka 2024
YARN te bieden, voor degenen die net zijn aangekomen bij deze specifieke partij, staat voor Yet Another Resource Negotiator, een tool waarmee andere frameworks voor gegevensverwerking op Hadoop kunnen worden uitgevoerd. De glorie van YARN is dat het Hadoop presenteert met een elegante oplossing voor een aantal aloude uitdagingen.
YARN is bedoeld om een efficiëntere en flexibeler planning van de werkdruk te bieden, evenals een resourcebeheerfaciliteit, die beide Hadoop in staat stellen om meer dan alleen MapReduce-taken uit te voeren.
De afbeelding toont in algemene termen hoe YARN in Hadoop past en maakt ook duidelijk hoe het Hadoop in staat heeft gesteld een werkelijk algemeen platform voor gegevensverwerking te worden. De volgende lijst bevat de songtekst van de melodie:
-
Gedistribueerde opslag: Er is niets veranderd hier met de overgang van MapReduce naar YARN - HDFS is nog steeds de opslaglaag voor Hadoop.
-
Resourcemanagement: Het belangrijkste onderliggende concept in de verschuiving naar YARN van Hadoop 1 is het ontkoppelen van resource management en gegevensverwerking. Dit stelt YARN in staat om middelen te leveren aan elk verwerkingsraamwerk dat is geschreven voor Hadoop, inclusief MapReduce.
-
Verwerkingskader: Omdat YARN een resourcebeheerfaciliteit voor algemene doeleinden is, kan het clusterbronnen toewijzen aan elk gegevensverwerkingsraamwerk dat voor Hadoop is geschreven. Het verwerkingsraamwerk behandelt dan runtime-problemen met de applicatie.
Om compatibiliteit te handhaven voor alle code die is ontwikkeld voor Hadoop 1, dient MapReduce als het eerste framework dat beschikbaar is voor gebruik op YARN. Ten tijde van dit schrijven was het project Apache Tez een incubatorproject in ontwikkeling als alternatief raamwerk voor de uitvoering van Pig and Hive-toepassingen. Tez zal waarschijnlijk uitkomen als een standaard Hadoop-configuratie.
-
Application Programming Interface (API): Met de ondersteuning voor aanvullende verwerkingskaders, zal ondersteuning voor aanvullende API's komen. Op het moment van dit schrijven, Hoya (voor het uitvoeren van HBase op YARN), Apache Giraph (voor grafische verwerking), Open MPI (voor het doorgeven van berichten in parallelle systemen), is Apache Storm (voor verwerking van gegevensstromen) in actieve ontwikkeling.