Video: Master YARN in 45 minutes 2024
De kerncomponent van YARN (Yet Another Resource Negotiator) is de Resource Manager, die alle middelen voor gegevensverwerking beheert. in het Hadoop-cluster. Simpel gezegd is de Resource Manager een toegewijde planner die bronnen toewijst aan het aanvragen van applicaties. De enige taken zijn om een globaal overzicht van alle bronnen in het cluster te behouden, resourceaanvragen af te handelen, het verzoek in te plannen en vervolgens bronnen toe te wijzen aan de verzoekende toepassing.
De Resource Manager, een kritieke component in een Hadoop-cluster, moet op een speciaal masterknooppunt worden uitgevoerd.
Hoewel de Resource Manager in feite een pure scheduler is, vertrouwt het op planningsmodules voor de eigenlijke planningslogica. U kunt kiezen uit dezelfde planners die beschikbaar waren in Hadoop 1, die allemaal zijn bijgewerkt om te werken met YARN: FIFO (first in, first out), Capacity of Fair Share.
De Resource Manager is volledig agnostisch met betrekking tot zowel applicaties als frameworks - het heeft geen honden in die specifieke jachten, met andere woorden. Het heeft geen concept van kaart of vermindert taken, het houdt geen rekening met de voortgang van taken of hun individuele taken en het behandelt geen failovers.
Kort gezegd, de Resource Manager is een complete afwijking van de JobTracker-daemon voor Hadoop 1-omgevingen. Wat de Resource Manager doet, is het plannen van workloads en dat doet het goed.
Deze hoge mate van scheidingstaken - met één aspect centraal en alle andere dingen negerend - is precies wat YARN veel schaalvoller maakt, een generiek platform voor applicaties kan bieden en een > multi-tenant Hadoop-cluster - multi-tenant omdat verschillende bedrijfsunits dezelfde Hadoop-cluster kunnen delen.
