Apache Bigtop en Hadoop - dummies

Om u te helpen aan de slag te gaan met Hadoop, vindt u hier instructies voor het snel downloaden en installeren van Hadoop op uw eigen laptopcomputer. Uw cluster zal in een pseudo-gedistribueerde modus op een virtuele machine worden uitgevoerd, dus u hebt geen speciale hardware nodig.

Een virtuele machine (VM) is een gesimuleerde computer die u op een echte computer kunt gebruiken. U kunt bijvoorbeeld een programma op uw laptop uitvoeren dat een VM "afspeelt", waardoor een venster wordt geopend dat lijkt op een andere computer. In feite is er een alsof-computer in uw echte computer.

U downloadt een VM en tijdens het uitvoeren installeert u Hadoop.

Apache Bigtop is een geweldig alternatief als u uw eigen Hadoop-componenten wilt samenstellen. Bigtop verzamelt de belangrijkste Hadoop-componenten voor u en zorgt ervoor dat uw configuratie werkt. Apache Bigtop is een open source distributie van 100 procent.

Het primaire doel van Bigtop - zelf een project van Apache, net als Hadoop - is het bouwen van een community rond het verpakken, inzetten en integreren van projecten in het Apache Hadoop-ecosysteem. De focus ligt op het systeem als geheel in plaats van op individuele projecten.

Met Bigtop kunt u eenvoudig Hadoop-componenten installeren en implementeren zonder ze op te sporen in een specifieke distributie en ze matchen met een specifieke Hadoop-versie. Als er nieuwe versies van Hadoop-componenten worden uitgebracht, werken ze soms niet met de nieuwste releases van andere projecten. Als u alleen bent, zijn er belangrijke testen nodig.

Met Bigtop (of een commerciële Hadoop-release) kunt u erop vertrouwen dat Hadoop-experts deze tests voor u hebben gedaan. Om u een idee te geven van hoe groot Bigtop is geworden, raadpleegt u de volgende lijst met alle componenten in Bigtop:

• Apache Crunch

• Apache Flume

• Apache Giraph

• Apache HBase

• Apache HCatalog

• Apache Hive

• Apache Mahout

• Apache Oozie

• Apache Varken

• Apache Solr

• Apache Sqoop

• Apache Whirr

• Apache Zookeeper

• Cloudera Hue

• LinkedIn DataFu

Deze verzameling van Hadoop-ecosysteemprojecten is ongeveer net zo uitgebreid als het wordt, omdat beide grote en kleine projecten zijn inbegrepen. Apache Bigtop is voortdurend aan het evolueren.