De Hadoop-omgeving instellen met Apache Bigtop - dummies

Als u vertrouwd bent met het werken met VM's en Linux, kunt u Bigtop op een andere VM installeren dan wordt aanbevolen. Als je echt gedurfd bent en de hardware hebt, ga je gang en probeer Bigtop te installeren op een cluster van machines in volledig gedistribueerde modus!

Stap 1: een VM downloaden

Hadoop draait op alle populaire Linux-distributies, dus u hebt een Linux VM nodig. Er is een gratis beschikbare (en legale!) CentOS 6-afbeelding beschikbaar.

U hebt een 64-bits besturingssysteem op uw laptop nodig om deze VM uit te voeren. Hadoop heeft een 64-bits omgeving nodig.

Nadat u de VM hebt gedownload, pakt u deze uit het gedownloade zip-bestand in de doelmap. Zorg ervoor dat u ongeveer 50 GB aan beschikbare ruimte hebt aangezien Hadoop en uw voorbeeldgegevens deze nodig hebben.

Als u nog geen VM-speler hebt, kunt u er een gratis downloaden.

Nadat je je VM-speler hebt ingesteld, open je de speler, ga je naar Bestand → Openen en ga je naar de map waar je je Linux-VM hebt uitgepakt. Zoek naar een bestand met de naam en selecteer het. U zult informatie zien over hoeveel processors en hoeveel geheugen het zal gebruiken. Ontdek hoeveel geheugen uw computer heeft en wijs de helft ervan toe aan de VM om te gebruiken. Hadoop heeft veel geheugen nodig.

Als je klaar bent, klik je op de knop Afspelen en je Linux-instantie wordt gestart. Je zult veel berichten zien voorbij vliegen terwijl Linux opstart en je komt bij een inlogscherm. De gebruikersnaam is al ingesteld op "Tom. "Specificeer het wachtwoord als" tomtom "en meld u aan.

Stap 2: Bigtop downloaden

Klik vanuit uw Linux VM met de rechtermuisknop op het scherm en selecteer Openen in terminal in het contextuele menu dat verschijnt. Hiermee wordt een Linux-terminal geopend, waar u opdrachten kunt uitvoeren. Klik in de terminal zodat u de cursor kunt zien knipperen en de volgende opdracht kunt invoeren: su -

Er wordt om je wachtwoord gevraagd, dus typ "tomtom" zoals je eerder hebt gedaan. Deze opdracht schakelt de gebruiker naar root, het hoofdaccount voor een Linux-computer - u hebt dit nodig om Hadoop te installeren.

Met je root-toegang (laat de stroom niet op je hoofd vallen), voer je de volgende opdracht uit:

wget -O / etc / yum. repos. d / BigTop. repo 

// www. apache. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

De opdracht is in wezen een webverzoek, waarin een specifiek bestand in de URL wordt opgevraagd die u kunt zien en deze naar een specifiek pad schrijft - in dit geval is dat /.

Stap 3: Bigtop installeren

De genieën achter Linux hebben het leven behoorlijk gemakkelijk gemaakt voor mensen die grote softwarepakketten zoals Hadoop moeten installeren.Wat je in de laatste stap downloadde, was niet het hele Bigtop-pakket en al zijn afhankelijkheden. Het was slechts een repositorybestand (met de extensie), die een installatieprogramma vertelt welke softwarepakketten nodig zijn voor de Bigtop-installatie.

Zoals elk groot softwareproduct heeft Hadoop veel voorwaarden, maar u hoeft zich geen zorgen te maken. Een goed ontworpen bestand wijst naar afhankelijkheden en het installatieprogramma is slim genoeg om te zien of ze op uw computer ontbreken en vervolgens te downloaden en te installeren.

Het installatieprogramma dat u hier gebruikt, heet yum, dat u nu in actie kunt zien:

yum install hadoop * mahout * oozie * hbase * hive * tint * varken * dierenverzorger *

Merk op dat u plukken en kiezen de Hadoop-componenten om te installeren. Er zijn een aantal andere componenten beschikbaar in Bigtop, maar dit zijn de enige die u hier zult gebruiken. Omdat de VM een nieuwe Linux-installatie is, heb je veel afhankelijkheden nodig, dus je moet even wachten.

Het yum-installatieprogramma is behoorlijk uitgebreid, zodat je precies kunt zien wat er wordt gedownload en geïnstalleerd om de tijd te doden. Wanneer het installatieproces is voltooid, ziet u een bericht met de melding "Voltooid! "

Stap 4: Hadoop starten

Voordat u begint met het uitvoeren van applicaties op Hadoop, zijn er enkele basisconfiguraties en instellingsmogelijkheden die u moet doen. Hier zijn ze in orde:

1. Download en installeer Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Formatteer de NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode start
   

3. Start de Hadoop-services voor uw pseudodistributed cluster:

   voor i in hadoop-hdfs-namenode hadoop-hdfs-datanode; doe sudo service $ i start; klaar
   

4. Maak een submapstructuur in HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Start de YARN-daemons:

sudo-service hadoop-yarn-resourcemanager startsudo-service hadoop-yarn-nodemanager start

En daarmee bent u klaar. Hartelijk gefeliciteerd! U hebt een werkende Hadoop-implementatie geïnstalleerd!

Stap 5: Downloaden van de voorbeeldgegevensverzameling

Om de voorbeeldgegevensset te downloaden, opent u de Firefox-browser vanuit de VM en gaat u naar de dataexpo-pagina.

U hebt niet de volledige gegevensset nodig, dus begin met een jaar, 1987. Wanneer u gaat downloaden, selecteert u de optie Openen met archiefbeheer.

Nadat het bestand is gedownload, pakt u het uit in uw basismap waar u het gemakkelijk kunt vinden. Klik op de knop Uitnemen en selecteer vervolgens de Desktop-map.

Stap 6: De voorbeeldgegevensset kopiëren naar HDFS

Vergeet niet dat uw Hadoop-programma's alleen met gegevens kunnen werken nadat deze in HDFS zijn opgeslagen. Dus wat je nu gaat doen, is het vluchtgegevensbestand voor 1987 kopiëren naar HDFS. Voer de volgende opdracht in:

hdfs dfs -copyFromLocal 1987. csv / user / root