Huis Persoonlijke financiën Google Dremel en Hadoop - dummies

Google Dremel en Hadoop - dummies

Video: Google I/O 2012 - Crunching Big Data with BigQuery 2024

Video: Google I/O 2012 - Crunching Big Data with BigQuery 2024
Anonim

Voor de meeste mensen doet de term Dremel denken aan een handig gereedschap met hoge snelheid en een laag koppel, dat goed werkt voor verschillende taken in en rond het huis. Maar wist u dat Google een Dremel heeft gemaakt? In plaats van een ander mechanisch hulpmiddel voor draagbare apparaten te produceren, koos Google een snelle softwaretool die is bedoeld voor interactieve analyse van big data.

Zoals met andere Google-technologieën die delen van het Hadoop-ecosysteem inspireerden, zoals MapReduce, Google File System (HDFS) en BigTable (zie HBase), ontwikkelde Google Dremel voor intern gebruik en publiceerde vervolgens een paper met een beschrijving van het doel en ontwerp van de technologie. (Met andere woorden, Dremel is niet iets dat u kunt downloaden en gebruiken op uw Hadoop-cluster.)

Google gebruikt Dremel voor verschillende taken, waaronder het analyseren van door web gecrawlde documenten, het detecteren van spam per e-mail, het verwerken van crashrapporten van toepassingen en meer. De BigQuery-service van Google gebruikt eigenlijk Dremel.

Google heeft de MapReduce-technologie ontworpen voor batchverwerking via enorme gegevenssets. Naarmate hun behoeften evolueerden, nam ook hun technologie toe en Google besloot om Dremel te creëren om de prestaties te verbeteren voor interactieve query's tegen big data-sets.

De MapReduce-benadering biedt schaalbaarheid en fouttolerantie voor query's, maar het is fundamenteel een op batch gebaseerd systeem, dus reactietijden voor kleinere query's (query's waarbij slechts een klein deel van een volledige gegevensset is betrokken). zijn vaak niet wat gebruikers verwachten.

Daarom ontwikkelde Google een technologie voor query-uitvoering die is ontworpen voor interactieve query's, die wordt uitgevoerd op tussenliggende servers bovenop het Google-bestandssysteem (GFS). (Denk eraan, GFS was de inspiratie voor Apache HDFS, dat het bestandssysteem van Hadoop is.)

Net als bij Hive gebruikt Dremel een SQL-achtige taal (bekend bij de meeste programmeurs) en gebruikt hij een kolomvormige gegevenslay-out. Dremel biedt een snelle, interactieve queryreactie terwijl de schaalbaarheid en fouttolerantie in Apache Hive behouden blijven. In de whitepaper van Dremel legt Google uit hoe het binnen enkele seconden aggregatiequery's over tabellen met een biljoen rijen kan uitvoeren - helemaal niet slecht.

Dus Google heeft zijn Dremel-technologie, die het intern gebruikt, maar dan zijn er alle technologieën "geïnspireerd door" Dremel (een beetje zoals al die parfums "geïnspireerd door" Drakkar Noir).

Google Dremel en Hadoop - dummies

Bewerkers keuze

Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies

Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies

Wanneer het komt om het voordeel dat u van LinkedIn krijgt te maximaliseren, bent u uw grootste pleitbezorger. Hoewel je netwerk van connecties je helpt te groeien, gebeurt veel van je marketing zonder dat je erbij betrokken bent. Nadat je je profiel hebt aangemaakt, worden die en andere LinkedIn-activiteit van je gelezen en beoordeeld door de ...

Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies

Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies

Deze dagen, wanneer u naar een nieuwe stad moet verhuizen, kunt u er veel plannen voor maken op LinkedIn en op internet. Je kunt de buurten onderzoeken, de schoolsystemen bekijken en online naar huizen gaan. Je kunt een stap verder gaan als je van plan bent om naar een andere ...

Hoe u uw LinkedIn-contactinstellingen controleert - dummies

Hoe u uw LinkedIn-contactinstellingen controleert - dummies

U zeker wilt dat u de juiste instellingen selecteert contactinstellingen voor uw LinkedIn-profiel. Als u bijvoorbeeld op zoek bent naar een nieuwe baan, wilt u er zeker van zijn dat de optie voor Carrièremogelijkheden is gecontroleerd. Wanneer u klaar bent om uw contactinstellingen te controleren, volgt u deze stappen: Ga naar ...

Bewerkers keuze

Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies

Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies

Uw Canon EOS Rebel XS / 1000D heeft alle functies die u kunt gebruiken om fantastische foto's te maken. Je moet de beeldmodus instellen op het onderwerp van je foto en de Canon EOS Rebel XS / 1000D laat je volledig of gedeeltelijk automatisch gaan met de belichtingsinstellingen.

Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies

Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies

Live-modus Met autofocus kunt u de focus instellen op uw Canon EOS Rebel T3 of T3i zonder tijdelijk het voorbeeld van de monitor te verliezen. Bovendien, in plaats van het selecteren van negen autofocuspunten, verplaatst u eenvoudig een enkel scherpstelpunt over uw onderwerp. Aan de andere kant is de autofocus van de Live-modus merkbaar langzamer dan in de Quick-modus, en ...

Bewerkers keuze

Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies

Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies

Tekstgrootte wordt ingesteld in uw Word 2016 document gebaseerd over de meting van de oude letterzetter, ook wel punten genoemd. Hier zijn enkele aandachtspunten waarmee u rekening moet houden bij het opmaken van tekst in Word: hoe groter de puntgrootte, hoe groter de tekst. De meeste gedrukte tekst is 10 of 12 punten lang. Koppen zijn meestal 14 ...

Grammatica controleren in Word 2007 - dummies

Grammatica controleren in Word 2007 - dummies

Naast het controleren op correcte spelling, kunt u met Word 2007 ook om uw documenten te bewijzen om grammaticale fouten te voorkomen. U kunt de grammaticasuggesties van Word bekijken terwijl u door het document bladert, of u kunt een traditionele spellingcontrole uitvoeren. Word biedt u zelfs de kans om de gemarkeerde fout te onderzoeken en meer te leren van ...

Spelling controleren terwijl u typt in Word 2013 - dummies

Spelling controleren terwijl u typt in Word 2013 - dummies

Woord 2013 heeft een interne bibliotheek vol met ontelbare woorden, allemaal correct gespeld. Telkens wanneer u een woord typt, wordt het vergeleken met dat woordenboek. Wanneer het woord niet wordt gevonden, wordt dit als verdacht gemarkeerd in uw document. Het merk is een rode zigzaglijn. Mijn advies: blijf typen. Laat de "rode zigzag van een ...