Vergeleken met Hadoop-distributies - dummies

Je zult merken dat het Hadoop-ecosysteem vele componenten heeft, die allemaal bestaan ​​als hun eigen Apache-projecten. Omdat Hadoop aanzienlijk is gegroeid en nog enkele belangrijke verdere wijzigingen heeft ondergaan, zijn verschillende versies van deze open source communityonderdelen mogelijk niet volledig compatibel met andere componenten. Dit levert aanzienlijke problemen op voor mensen die op zoek zijn naar een onafhankelijke start met Hadoop door projecten rechtstreeks vanuit Apache te downloaden en te compileren.

Red Hat is voor veel mensen het model van hoe je succesvol geld kunt verdienen in de open source softwaremarkt. Wat Red Hat heeft gedaan, is Linux gebruiken (een open source besturingssysteem), alle vereiste componenten bundelen, een eenvoudig installatieprogramma bouwen en betaalde ondersteuning bieden aan alle klanten.

Op dezelfde manier dat Red Hat een handige verpakking voor Linux heeft geleverd, hebben een aantal bedrijven Hadoop en enkele verwante technologieën gebundeld in hun eigen Hadoop-distributies. Deze lijst beschrijft de meer prominente:

• Cloudera : Cloudera is misschien wel de meest bekende speler in het veld en kan Doug Cutting, de mede-oprichter van Hadoop, als hoofdarchitect opeisen. Cloudera wordt door veel mensen gezien als de marktleider in de Hadoop-ruimte omdat het de eerste commerciële Hadoop-distributie heeft uitgebracht en het is een zeer actieve bijdrager van code aan het Hadoop-ecosysteem.

  Cloudera Enterprise, een product gepositioneerd door Cloudera in het centrum van wat het de "Enterprise Data Hub" noemt, omvat de Cloudera-distributie voor Hadoop (CDH), een opensource-gebaseerde distributie van Hadoop en de bijbehorende projecten, evenals als de eigen Cloudera Manager. Ook inbegrepen is een abonnement op technische ondersteuning voor de kerncomponenten van CDH.

  Het primaire bedrijfsmodel van Cloudera is lang gebaseerd op zijn vermogen om zijn populaire CDH-distributie te benutten en betaalde services en ondersteuning te bieden. In de herfst van 2013 heeft Cloudera formeel aangekondigd dat het zich richt op het toevoegen van eigen toegevoegde waarde componenten bovenop de open source Hadoop om als een onderscheidende factor te fungeren.

  Ook heeft Cloudera het een veelgebruikte gewoonte gemaakt om de acceptatie van open source-code voor alfa- en bèta-niveau voor de nieuwere Hadoop-releases te versnellen. Haar aanpak is om componenten te nemen die zij volwassen vindt en deze om te bouwen in de bestaande, voor productie geschikte open-sourcebibliotheken die bij de distributie ervan zijn inbegrepen.

• EMC : Pivotal HD, de Apache Hadoop-distributie van EMC, integreert native EMC's massively parallel processing (MPP) databasetechnologie (voorheen bekend als Greenplum, nu bekend als HAWQ) met Apache Hadoop.Het resultaat is een krachtige Hadoop-distributie met echte SQL-verwerking voor Hadoop. SQL-gebaseerde query's en andere Business Intelligence-tools kunnen worden gebruikt om gegevens te analyseren die zijn opgeslagen in HDFS.

• Hortonworks : Hortonworks, een andere belangrijke speler op de Hadoop-markt, heeft het grootste aantal committers en code-bijdragers voor de Hadoop-ecosysteemcomponenten. (Committers zijn de poortwachters van Apache-projecten en hebben de bevoegdheid om codewijzigingen goed te keuren.)

  Hortonworks is een spin-off van Yahoo!, wat de oorspronkelijke zakelijke driver was van het Hadoop-project omdat het een grootschalig platform nodig had om zijn zoekmachine-activiteiten te ondersteunen. Van alle Hadoop distributieleveranciers is Hortonworks het meest toegewijd aan de open source beweging, gebaseerd op het enorme volume van het ontwikkelingswerk dat het bijdraagt ​​aan de gemeenschap, en omdat al zijn ontwikkelingsinspanningen (uiteindelijk) worden opgevouwen in de open source codebase.

  Het bedrijfsmodel van Hortonworks is gebaseerd op zijn vermogen om gebruik te maken van de populaire HDP-distributie en betaalde services en ondersteuning te bieden. Het verkoopt echter geen bedrijfseigen software. In plaats daarvan ondersteunt het bedrijf enthousiast het idee om binnen de open-sourcecommunity te werken aan het ontwikkelen van oplossingen die voldoen aan de vereisten van enterprise-functies (bijvoorbeeld snellere queryverwerking met Hive).

  Hortonworks heeft een aantal relaties gesmeed met gevestigde bedrijven in de datamanagementsector: Teradata, Microsoft, Informatica en SAS, bijvoorbeeld. Hoewel deze bedrijven geen eigen Hadoop-aanbod hebben, werken ze samen met Hortonworks om geïntegreerde Hadoop-oplossingen te bieden met hun eigen productsets.

  Het Hadoop-aanbod van Hortonworks is het Hortonworks Data Platform (HDP), dat zowel Hadoop als gerelateerde tooling en projecten omvat. In tegenstelling tot Cloudera geeft Hortonworks alleen HDP-versies met productieniveau-code uit de open-sourcecommunity vrij.

• IBM : Big Blue biedt een reeks Hadoop-aanbiedingen, waarbij de focus ligt op toegevoegde waarde bovenop de open source Hadoop-stack.

• Intel: De Intel-distributie voor Apache Hadoop (Intel-distributie) biedt gedistribueerd verwerking en gegevensbeheer voor zakelijke toepassingen die big data analyseren.

  Belangrijkste kenmerken zijn uitstekende prestaties met optimalisaties voor Intel Xeon-processors, Intel SSD-opslag en Intel 10GbE-netwerken; gegevensbeveiliging via codering en decodering in HDFS en rolgebaseerde toegangscontrole met granulariteit op celniveau in HBase; verbeterde Hive-queryprestaties; ondersteuning voor statistische analyse met een connector voor R, het populaire open source statistische pakket; en analytische grafische afbeeldingen via Intel Graph Builder.

• MapR : voor een complete distributie voor Apache Hadoop en gerelateerde projecten die onafhankelijk zijn van de Apache Software Foundation, hoeft u niet verder te zoeken dan MapR. Omdat er geen afhankelijkheid van Java is en geen afhankelijkheid van het Linux-bestandssysteem, wordt MapR gepromoot als de enige Hadoop-distributie die volledige gegevensbescherming biedt, geen enkele foutpunten en aanzienlijke gebruiksgemakvoordelen.

  Er zijn drie MapR-edities beschikbaar: M3, M5 en M7. De M3-editie is gratis en beschikbaar voor onbeperkt productiegebruik; MapR M5 is een abonnementssoftwarepakket op middelhoog niveau; en MapR M7 is een complete distributie voor Apache Hadoop en HBase met Pig, Hive, Sqoop en nog veel meer.