3 Hadoop Clusterconfiguraties - dummies

1 3

Hadoop-implementatie in één rack

Een implementatie met één rack is een ideaal startpunt voor een Hadoop-cluster.

Hier is het cluster redelijk autonoom, maar omdat het nog steeds relatief weinig slaafknopen heeft, zijn de echte voordelen van de veerkracht van Hadoop nog niet duidelijk.

2 3

Hadoop-implementatie met drie racks

Een cluster van middelmatige grootte heeft meerdere racks, waarbij de drie masterknooppunten over de racks zijn verdeeld.

De veerkracht van Hadoop begint duidelijk te worden: zelfs als een volledig rack zou falen (bijvoorbeeld beide ToR-switches in een enkel rack), zou het cluster nog steeds functioneren, zij het op een lager prestatieniveau. Een slaafknooppuntfout is nauwelijks merkbaar.

3 3

Grootschalige Hadoop-implementatie

In grotere clusters met veel racks, zoals het getoonde voorbeeld, is de vereiste netwerkarchitectuur behoorlijk ingewikkeld.

Ongeacht het aantal racks waar de Hadoop-clusters naar toe groeien, moeten de slaafknooppunten vanuit elk rek efficiënt kunnen praten? naar elke master node.

Naarmate het aantal slaafknopen stijgt tot het punt waarop u meer dan drie racks hebt, zijn extra racks alleen samengesteld uit slave-knooppunten, behalve de ToR-switches. Als u HBase zwaar gebruikt in uw cluster, kunt u masterknooppunten toevoegen om extra HMaster- en Zookeeper-services te hosten.

Als u afstudeert naar een echt enorme schaal, waar u honderden slave-knooppunten hebt, moet u mogelijk de HDFS-federatiefunctionaliteit gebruiken zodat grote delen van uw gegevenssets worden beheerd door verschillende NameNode-services.

Voor elke extra Active NameNode hebt u een overeenkomend Standby NameNode en twee hoofdknooppunten nodig om deze servers te hosten. Met HDFS-federatie is de lucht echt de limiet in termen van hoe ver je je clusters kunt schalen.

Vorige Volgende