Hadoop Administration Commands - dummies

Onderdeel van Hadoop For Dummies Cheat-blad

Elke Hadoop-beheerder die zijn zout waard is, moet een uitgebreide reeks opdrachten beheersen voor clusterbeheer. De volgende lijst bevat een overzicht van de belangrijkste opdrachten, die aangeven wat de opdracht doet, evenals syntaxis en voorbeelden. Ken ze, en je zult een heel eind verder gaan op het pad naar Hadoop-wijsheid.

• balancer : Hiermee wordt het clusterbalanceringshulpprogramma uitgevoerd. De opgegeven drempelwaarde, die een percentage van de schijfcapaciteit vertegenwoordigt, wordt gebruikt om de standaarddrempelwaarde (10 procent) te overschrijven. Druk op Ctrl + C om het rebalancingproces te stoppen.

  Syntaxis: hadoop balancer [-drempel]

  Voorbeeld: hadoop balancer -drempel 20

• daemonlog : Hiermee wordt het logniveau opgehaald of ingesteld voor elke daemon (ook bekend als een service). Verbindt met // host: poort / logLevel? log = naam en print of stelt het logniveau in van de daemon die wordt uitgevoerd op host: poort. Hadoop daemons genereren logbestanden die u helpen bepalen wat er op het systeem gebeurt, en u kunt de daemonlog-opdracht gebruiken om tijdelijk het log-niveau van een Hadoop-component te wijzigen wanneer u het systeem debugt. De wijziging wordt van kracht wanneer de daemon opnieuw wordt opgestart.

  Syntaxis: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Voorbeeld: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG

• datanode : Voert de HDFS DataNode-service uit, die de opslag op elk slaafknooppunt coördineert. Als u -rollback opgeeft, wordt de DataNode teruggedraaid naar de vorige versie. Stop de DataNode en distribueer de eerdere Hadoop-versie voordat u deze optie gebruikt.

  Syntaxis: hadoop datanode [-rollback]

  Voorbeeld: hadoop datanode -rollback

• dfsadmin : Voert een aantal Hadoop-gedistribueerde bestanden uit Systeem (HDFS) administratieve handelingen. Gebruik de -helpoptie om een ​​lijst met alle ondersteunde opties te zien. De generieke opties zijn een algemene reeks opties die door verschillende opdrachten wordt ondersteund.

  Syntaxis: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | verlaten | krijg | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress-status | details | force] [-metasave bestandsnaam] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Voert een aantal MapReduce-beheer uit activiteiten. Gebruik de -helpoptie om een ​​lijst met alle ondersteunde opties te zien.Nogmaals, de algemene opties zijn een algemene reeks opties die door verschillende commando's worden ondersteund. Als u -refreshServiceAcl opgeeft, laadt u het machtigingsbeleidbestand op serviceniveau opnieuw (JobTracker laadt het bestand met het machtigingsbeleid opnieuw); -refreshQueues laadt de wachtrij-toegangscontrolelijsten (ACL's) en status opnieuw (JobTracker herlaadt het xml-bestand met mapred-wachtrijen); -refreshNodes vernieuwt de hosts-informatie op JobTracker; -refreshUserToGroupsMappings vernieuwt gebruikers-naar-groepen toewijzingen; -refreshSuperUserGroupsConfiguration vernieuwt superuser-toewijzingen van proxygroepen; en -help [cmd] geeft hulp voor de gegeven opdracht of voor alle opdrachten als er geen is opgegeven.

  Syntaxis: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Voorbeeld: hadoop mradmin -help-refreshNodes

• jobtracker : Hiermee wordt het MapReduce JobTracker-knooppunt uitgevoerd, dat het gegevensverwerkingssysteem voor Hadoop coördineert. Als u -dumpConfiguration opgeeft, worden de configuratie die wordt gebruikt door de JobTracker en de wachtrijconfiguratie in JSON-indeling geschreven naar standaarduitvoer.

  Syntaxis: hadoop jobtracker [-dumpConfiguration]

  Voorbeeld: hadoop jobtracker -dumpConfiguration

• namenode : Voert de NameNode uit, die de coördinaten coördineert opslag voor het hele Hadoop-cluster. Als u -format opgeeft, wordt de NameNode gestart, geformatteerd en vervolgens gestopt; bij -upgrade start de NameNode met de upgrade-optie nadat een nieuwe Hadoop-versie is gedistribueerd; met -rollback wordt de NameNode teruggedraaid naar de vorige versie (vergeet niet om het cluster te stoppen en de eerdere Hadoop-versie te distribueren voordat u deze optie gebruikt); met -financieren wordt de vorige status van het bestandssysteem verwijderd, de meest recente upgrade permanent, rollback is niet langer beschikbaar en de NameNode is gestopt; tot slot, met -importCheckpoint, wordt een afbeelding geladen vanuit de ijkpuntmap (zoals gespecificeerd door de fs. ijkpunt. dir eigenschap) en opgeslagen in de huidige map.

  Syntaxis: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-financieren] | [-importCheckpoint]

  Voorbeeld: hadoop namenode -financieren

• Secundaire naamcode : Voert de secundaire NameNode uit. Als u -controlepunt opgeeft, wordt een controlepunt op de secundaire NameNode uitgevoerd als de grootte van het bewerkingslogboek (een transactielogboek dat elke wijziging registreert die optreedt in de metadata van het bestandssysteem) groter is dan of gelijk is aan fs. checkpoint. grootte; specificeer -force en een controlepunt wordt uitgevoerd ongeacht de grootte van het EditLog; geef -getitsize op en de grootte van het bewerkingslogboek wordt afgedrukt.

  Syntaxis: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Voorbeeld: hadoop secondarynamenode -geteditsize

• tasktracker : Voert een MapReduce TaskTracker-knooppunt uit.

  Syntaxis: hadoop tasktracker

  Voorbeeld: hadoop tasktracker