Grafiek Verwerking In Hadoop - dummies

Een van de interessantere nieuwe NoSQL-technologieën is het opslaan en verwerken van grafiekgegevens. Je zou kunnen denken dat deze verklaring oud nieuws is, omdat computerwetenschappers al decennia grafische analysetechnieken ontwikkelen. Wat u zegt, is misschien waar, maar wat nieuw is, is dat u met Hadoop grafiekanalyse op grote schaal kunt uitvoeren.

Wat zijn grafische gegevens?

A grafiek in termen van gegevens is eenvoudigweg een weergave van individuele entiteiten en hun relaties. De entiteiten van een grafiek staan ​​bekend als knooppunten (of hoekpunten ) en de relaties tussen entiteiten in een grafiek staan ​​bekend als randen (of verbindingen) >). Het weergeven van gegevenssets in een grafiek, in tegenstelling tot traditionele rijen en kolommen, maakt het veel eenvoudiger om uw gegevens te verwerken op een manier die de relaties tussen objecten glashelder maakt. Typische grafiekberekeningen worden weergegeven door de kortste padafstand tussen meerdere knooppunten in uw grafiek, of eenvoudigweg door hoeveel knooppunten verbindingen van een bepaald type hebben met een specifiek knooppunt.

Toepassingen voor grafiekanalyse

De meest bekende toepassing voor grafendatabanken is het PageRank-algoritme van Google, dat de koppelingsrelaties tussen alle bekende webpagina's berekent. Google vertegenwoordigt het web als een gigantische grafiek, waarbij de webpagina's knooppunten zijn en de links van de ene pagina naar de andere worden weergegeven als randen. (Google deelde de rijkdom door een paper te publiceren waarin het grafiekanalyseproject - gelabeld Pregel - in 2010 werd beschreven.) De grafische verwerking waarin Google geïnteresseerd was, betrof het berekenen van het aantal inkomende verbindingen voor elke webpagina.

Facebook maakte in 2013 een grote duik toen het aankondigde dat het Apache Giraph gebruikte (gebaseerd op het Pregel-papier), een grafische verwerkingsengine die is ontworpen om grafieken te verwerken die zijn opgeslagen in HDFS. Het toonde de kracht van Giraph door een grafiek te laten zien van alle gebruikers van Facebook (meer dan 1 miljard) en hun vriendschappen (miljarden!), Die samen meer dan 1 biljoen randen hebben. Deze schaal is duizelingwekkend: als je Facebook bent en je moet berekeningen maken zoals aanbevelingen voor vrienden, wat is dan een betere tool om te gebruiken dan een engine voor grafische verwerking? Het is geen verrassing dat een gedistribueerde grafendatabase de kern vormt van elke andere opmerkelijke sociale mediasite, waaronder Twitter, LinkedIn, OkCupid en Pinterest.

Een grafische verwerkingsengine kan gemakkelijk vele praktische vragen beantwoorden voor sociale mediasites. Twee voorbeelden zijn hoe LinkedIn laat zien dat de mate van scheiding tussen u en een andere gebruiker een kortste padberekening is (wat is de nauwste verbinding tussen twee knooppunten?) en hoe OkCupid gebruikers laat zien met gemeenschappelijke interesses, is een reeks collaboratieve filterberekeningen (wat zijn de meest voorkomende verbindingen met een specifieke set knooppunten?).

Grafiekanalyse in Hadoop

Vanaf het voorjaar van 2014 bevindt de grafiekanalyse van Hadoop zich nog in de beginfase. Met de komst van YARN in Hadoop 2 zullen grafanalyse en andere gespecialiseerde verwerkingstechnieken steeds populairder worden bij Hadoop. Veel van de sociale sites die in dit artikel worden genoemd, gebruiken hun eigen, eigen grafische databases en verwerkingsengines, maar Facebook is een prominente gebruiker van Giraph. Omdat Facebook het (impliciete) zegel van goedkeuring is, is Giraph een populaire keuze geworden voor grafiekanalyse van Hadoop, maar het heeft enkele beperkingen. Het is uitsluitend een verwerkingsengine omdat het gegevens als een grafiek in het geheugen van het cluster laadt en het is geoptimaliseerd voor op batch georiënteerde query's.

Een andere oplossing voor grafieverwerking is afkomstig van Aurelius, een bedrijf dat een reeks open source grafiekanalysetools voor Hadoop heeft uitgebracht. De kern van zijn aanbod is Titan, een grafendatabase die HBase gebruikt als een persistentielaag, die is geoptimaliseerd voor interactieve query's, en Faunus, een grafische verwerkingsengine die een momentopname van een grafiek opslaat van Titan in HDFS en MapReduce-taken daartegen uitvoert. Voor zowel de interactieve (Titan) als de batch (Faunus) -toepassingen heeft Aurelius de gemeenschappelijke API voor grafische trajecten, genaamd Gremlin.

Tot slot heeft het Apache Spark-project de GraphX-uitloop, waarmee het genereren van grafiekgegevens en vervolgens verwerking allemaal binnen het Spark-raamwerk mogelijk is.