Gegevensblokken bijhouden met NameNode in HDFS - dummies

De NameNode fungeert als het adresboek voor Hadoop Distributed File System (HDFS) omdat het niet weet alleen welke blokken individuele bestanden vormen, maar ook waar elk van deze blokken en hun replica's worden opgeslagen. Wanneer een gebruiker een bestand opslaat in HDFS, wordt het bestand verdeeld in datablokken en worden drie exemplaren van deze datablokken opgeslagen in slave-knooppunten in het hele Hadoop-cluster.

Dat zijn veel gegevensblokken om bij te houden. Zoals je zou verwachten, maakt het weten waar de lichamen zijn begraven de NameNode tot een van de belangrijkste componenten in een Hadoop-cluster. Als de NameNode niet beschikbaar is, hebben applicaties geen toegang tot gegevens die zijn opgeslagen in HDFS.

Als u de volgende afbeelding bekijkt, kunt u de NameNode-daemon zien draaien op een master node-server. Alle kaartinformatie die te maken heeft met de datablokken en de bijbehorende bestanden wordt opgeslagen in een bestand met de naam.

HDFS is een journaling-bestandssysteem, wat betekent dat alle gegevenswijzigingen worden vastgelegd in een bewerkingsjournaal dat gebeurtenissen bijhoudt sinds het laatste ijkpunt - de laatste keer dat het bewerkingslogboek werd samengevoegd met. In HDFS wordt het bewerkingsjournaal onderhouden in een bestand met de naam die is opgeslagen op de NameNode.

NameNode opstarten en gebruiken

Om te begrijpen hoe NameNode werkt, is het handig om te kijken hoe het opstart. Omdat het doel van de NameNode is om applicaties te informeren over het aantal datablokken dat ze moeten verwerken en om de exacte locatie waar ze zijn opgeslagen te volgen, heeft het alle bloklocaties en block-to-file-toewijzingen nodig die beschikbaar zijn in RAM.

Dit zijn de stappen die de NameNode uitvoert. Om alle informatie te laden die de NameNode nodig heeft na het opstarten, gebeurt het volgende:

De NameNode laadt het bestand in het geheugen.
De NameNode laadt het bestand en speelt de gejournaliseerde wijzigingen opnieuw af om de metagegevens van het blok bij te werken die al in het geheugen aanwezig zijn.
De DataNode-daemons verzenden de NameNode-blokrapporten.

Voor elk slaveknooppunt is er een blokrapport met alle daarin opgeslagen gegevensblokken en wordt de gezondheid van elk blok beschreven.

Nadat het opstartproces is voltooid, heeft de NameNode een compleet beeld van alle gegevens die zijn opgeslagen in HDFS en is deze gereed voor het ontvangen van applicatieverzoeken van Hadoop-clients.

Aangezien databestanden worden toegevoegd en verwijderd op basis van clientaanvragen, worden de wijzigingen naar de schijfvolumes van de slave-node geschreven, worden er journaalupdates in het bestand gemaakt en worden de wijzigingen weerspiegeld in de bloklocaties en metagegevens die zijn opgeslagen in het geheugen van de NameNode.

Gedurende de hele levensduur van het cluster verzenden de DataNode-daemons de NameNode-hartslagen (een snel signaal) elke drie seconden om aan te geven dat ze actief zijn.(Deze standaardwaarde kan worden geconfigureerd.) Elke zes uur (opnieuw een configureerbare standaard) verzenden de DataNodes de NameNode een blokrapport waarin wordt aangegeven welke bestandsblokken zich op hun knooppunten bevinden. Op deze manier heeft de NameNode altijd een actueel overzicht van de beschikbare bronnen in het cluster.

Gegevens schrijven

Om nieuwe bestanden in HDFS te maken, zou het volgende proces moeten plaatsvinden:

De client stuurt een verzoek naar de NameNode om een nieuw bestand te maken.

De NameNode bepaalt hoeveel blokken nodig zijn en de client krijgt een lease voor het maken van deze nieuwe bestandsblokken in de cluster. Als onderdeel van deze lease heeft de klant een tijdslimiet om de creatie-taak te voltooien. (Deze tijdslimiet zorgt ervoor dat opslagruimte niet wordt ingenomen door falende clienttoepassingen.)
De client schrijft vervolgens de eerste exemplaren van de bestandsblokken naar de slaafknooppunten met behulp van de door de NameNode toegewezen lease.

De NameNode verwerkt schrijfverzoeken en bepaalt waar de bestanden en hun replica's moeten worden geschreven, waarbij de beschikbaarheid en prestaties in balans worden gebracht. De eerste kopie van een bestandsblok wordt in één rek geschreven en de tweede en derde exemplaren worden op een ander rek geschreven dan het eerste exemplaar, maar in verschillende slaafknopen in hetzelfde rek. Deze opstelling minimaliseert het netwerkverkeer en zorgt ervoor dat er geen gegevensblokken op hetzelfde faalpunt staan.
Terwijl elk blok naar HDFS wordt geschreven, schrijft een speciaal proces de overblijvende replica's naar de andere slaafknooppunten die worden geïdentificeerd door de NameNode.
Nadat de DataNode daemons hebben bevestigd dat de replicabestanden zijn gemaakt, sluit de clienttoepassing het bestand en waarschuwt de NameNode, die vervolgens de open leaseovereenkomst sluit.

Gegevens lezen

Om bestanden van HDFS te lezen, zou het volgende proces moeten plaatsvinden:

De client stuurt een verzoek naar de NameNode voor een bestand.

De NameNode bepaalt welke blokken betrokken zijn en kiest, gebaseerd op de algehele nabijheid van de blokken ten opzichte van elkaar en voor de klant, het meest efficiënte toegangspad.
De client benadert vervolgens de blokken met behulp van de adressen die zijn opgegeven door de NameNode.

Afwegingsgegevens in het Hadoop-cluster

Na verloop van tijd, met combinaties van ongelijkmatige gegevensopnamepatronen (waarbij sommige slaafknooppunten mogelijk meer gegevens hebben gekregen) of knooppuntfouten, worden gegevens waarschijnlijk ongelijk verdeeld over de racks en slave-knooppunten in uw Hadoop-cluster.

Deze ongelijkmatige verdeling kan een nadelig effect hebben op de prestaties omdat de vraag naar individuele slaafknooppunten uit balans raakt; knooppunten met weinig gegevens zullen niet volledig worden gebruikt; en knooppunten met veel blokken zullen te veel worden gebruikt. ( Opmerking: Het overmatig gebruik en ondergebruik zijn gebaseerd op schijfactiviteit, niet op CPU of RAM.)

HDFS bevat een balancer-hulpprogramma om blokken van overmatig gebruikte slaafknooppunten te hergebruiken voor onderbenutte apparaten terwijl het beleid van zetten behouden blijft blokken op verschillende slave-knooppunten en -rekken. Hadoop-beheerders moeten regelmatig de HDFS-status controleren en als de gegevens ongelijk verdeeld worden, moeten ze het hulpprogramma voor balancering inschakelen.

NameNode-hoofdserverontwerp

Vanwege de bedrijfskritische aard ervan, heeft de masterserver waarop de NameNode-daemon wordt uitgevoerd opvallend verschillende hardwarevereisten nodig dan die voor een slaafknooppunt. Het belangrijkste is dat componenten op bedrijfsniveau moeten worden gebruikt om de kans op een storing te minimaliseren. Bovendien hebt u voldoende RAM-geheugen nodig om alle metagegevens en locatiegegevens over alle gegevensblokken die zijn opgeslagen in HDFS in het geheugen te laden.