Video: What is Distributed File System | HDFS Tutorial For Beginners | HDFS in Hadoop | Simplilearn 2024
De oplossing voor het onbeperkt uitbreiden van Hadoop-clusters is federeren de NameNode. Voordat Hadoop 2 de scène betrad, moesten Hadoop-clusters leven met het feit dat NameNode grenzen stelde aan de mate waarin ze konden schalen. Er waren maar weinig clusters die meer dan 3, 000 of 4.000 knooppunten konden schalen.
De behoefte van NameNode om de records bij te houden voor elk blok gegevens dat in het cluster is opgeslagen, bleek de belangrijkste factor te zijn die een grotere clustergroei beperkte. Wanneer je te veel blokken hebt, wordt het steeds moeilijker voor de NameNode om op te schalen naarmate de Hadoop-cluster schalen.
In het bijzonder moet u HDFS instellen zodat u meerdere NameNode-instanties op eigen, speciale hoofdknooppunten laat draaien en vervolgens elke NameNode alleen verantwoordelijk maakt voor de bestandsblokken in zijn eigen naamruimte.
De afbeelding toont replicatiepatronen van gegevensblokken in HDFS. U kunt een Hadoop-cluster zien met twee NameNodes voor één cluster. De slave-knooppunten bevatten allemaal blokken uit beide naamruimten.
