Video: Hadoop Rack Awareness 2024
Net als met elk gedistribueerd systeem, kan een netwerk een Hadoop-cluster maken of breken: "Ga niet" goedkoop. "Er vindt veel gekraak plaats tussen de masterknooppunten en slaafknooppunten in een Hadoop-cluster die essentieel is om het cluster draaiend te houden, dus switches van ondernemingsklasse zijn absoluut aan te bevelen.
Voor elk rek in uw cluster heeft u twee top-rack-systemen (ToR) nodig, voor zowel redundantie als prestaties. Gebruik 10GbE voor ToR-switches.
ToR-switches zijn netwerkswitches die alle computers in een rack met elkaar verbinden. Normaal gesproken zie je ze helemaal bovenaan een rek, daarom zeggen mensen 'top-of-rack'. "Een alternatieve netwerkbenadering is om eind-van-rij-schakelaars (EoR) te gebruiken, maar dit zie je niet vaak.
De TOR-benadering is eenvoudiger vanuit een netwerkperspectief voor groeiende clusters. Het toevoegen van slave-knooppunten en extra racks is bijvoorbeeld veel eenvoudiger met ToR-switches dan met EoR.
Als u meer dan drie racks hebt, hebt u ten minste twee kernschakelaars nodig (opnieuw, voornamelijk voor redundantie, maar ook voor prestaties). Deze kernschakelaars verwerken enorme hoeveelheden verkeer, dus 40 GbE is een noodzaak.
Als u een cluster bouwt of uitbreidt om meerdere racks te overspannen, moet u netwerkexperts inschakelen die bekend zijn met Hadoop, uw toekomstige groeiplannen en uw werklast. Slecht netwerken kan de prestaties ernstig belemmeren, maar het kan toekomstige groei ook pijnlijk en duur maken.