Huis Persoonlijke financiën De Pig Latin-applicatieflow in Hadoop - dummies

De Pig Latin-applicatieflow in Hadoop - dummies

Video: Peppa Pig Español Latino LIVE ? Días de juego con Peppa ❤️ Peppa la cerdita 2024

Video: Peppa Pig Español Latino LIVE ? Días de juego con Peppa ❤️ Peppa la cerdita 2024
Anonim

In de kern is Pig Latin een gegevensstroom taal, waarin u een gegevensstroom en een reeks transformaties definieert die worden toegepast op de gegevens terwijl deze stromen via uw applicatie. Dit staat in contrast met een besturingsstroom (zoals C of Java), waarin u een reeks instructies schrijft.

In beheerstroomtalen, gebruikt u constructs zoals loops en conditionele logica (zoals een if-statement). Je zult geen loops en if statements vinden in Pig Latin.

Als je enigszins wilt overtuigen dat werken met Pig een veel eenvoudigere rij is om te schoffelen dan om programma's te schrijven en te verkleinen, begin dan met het bekijken van enkele echte Pig-syntaxis:

A = LOAD 'data_file. tekst';. B = GROEP …; … C = FILTER …;. DUMP B;. WINKEL C IN 'Resultaten';

Een deel van de tekst in dit voorbeeld ziet er eigenlijk uit als Engels, toch? Niet te eng, althans op dit moment. Als u om de beurt naar elke regel kijkt, ziet u de basisstroom van een Pig-programma. (Merk op dat deze code deel kan uitmaken van een script of kan worden uitgegeven op de interactieve shell genaamd Grunt.)

  1. Laden: u laadt (LADEN) eerst de gegevens die u wilt manipuleren.

    Net als bij een typische MapReduce-taak worden die gegevens opgeslagen in HDFS. Voor een Pig-programma om toegang te krijgen tot de gegevens, vertelt u Pig eerst welk bestand of welke bestanden moeten worden gebruikt. Voor die taak gebruikt u de opdracht LOAD 'data_file'.

    Hier kan 'data_file' een HDFS-bestand of een directory specificeren. Als een map is opgegeven, worden alle bestanden in die map in het programma geladen.

    Als de gegevens zijn opgeslagen in een bestandsindeling die niet nationaal toegankelijk is voor Pig, kunt u optioneel de functie USING toevoegen aan de LOAD-opdracht om een ​​door de gebruiker gedefinieerde functie op te geven die kan worden gelezen (en interpreteer) de gegevens.

  2. Transformeren: u voert de gegevens uit via een reeks transformaties die, ver onder de motorkap en ver verwijderd van alles waar u zich zorgen over moet maken, worden vertaald in een reeks taken Kaart en Verkleinen.

    De transformatielogica is waar alle gegevensmanipulatie plaatsvindt. Hier kunt u FILTER uit rijen die niet van belang zijn, FILTEREN van twee sets gegevensbestanden, GROEPSgegevens om aggregaties samen te stellen, ORDER resultaten, en nog veel, veel meer.

  3. Dump: ten slotte dumpt u (DUMP) de resultaten naar het scherm

    of

    Store (STORE) de resultaten ergens in een bestand.

    U gebruikt meestal de opdracht DUMP om de uitvoer naar het scherm te sturen wanneer u fouten in uw programma's aantreft. Wanneer uw programma in productie gaat, wijzigt u simpelweg de DUMP-oproep in een STORE-oproep zodat alle resultaten van het uitvoeren van uw programma's worden opgeslagen in een bestand voor verdere verwerking of analyse.

De Pig Latin-applicatieflow in Hadoop - dummies

Bewerkers keuze

Tien Helpbronnen voor Junos OS - dummies

Tien Helpbronnen voor Junos OS - dummies

Dit is een top-tien lijst met bronnen die u moet zoeken meer informatie over softwarebewerkingen, training en ondersteuning voor Junos - alle extra details die u mogelijk nodig heeft om Junos OS te kunnen configureren en bedienen in uw eigen netwerkimplementaties. CLI Help-commando's Bent u op zoek naar meer achtergrondinformatie over hoe een bepaalde functie ...

De functie van de drie vlakken van Junos netwerk OS - dummies

De functie van de drie vlakken van Junos netwerk OS - dummies

De architectuur van de Junos opererende systeem verdeelt de functies van besturing, services en doorsturen op verschillende niveaus. Elk van de vlakken van Junos OS biedt een kritieke set van functionaliteit in de werking van het netwerk. Besturingsvlak van het Junos-netwerkbesturingssysteem (NOS) Alle functies van het besturingsvlak lopen op ...

De basisprincipes van BGP-routebealing - dummy's

De basisprincipes van BGP-routebealing - dummy's

Het configureren van Border Gateway Protocol (BGP) kan nogal lastig zijn, vooral met grote aantallen peersessies die handmatig moeten worden geconfigureerd. In feite kan in een groot netwerk de full-mesh-vereiste voor IBGP een provisioning-nachtmerrie zijn. BGP's antwoord op de IBGP-paring-configuratie-nachtmerrie die het volledige maaswerk is, wordt routeberefening genoemd. Route ...

Bewerkers keuze

Noodzakelijke elementen voor SEO om hoge trefwoorden te krijgen - dummies

Noodzakelijke elementen voor SEO om hoge trefwoorden te krijgen - dummies

Als de allerbeste locatie op het web staat op de pagina een van de zoekmachines, je moet de SEO-elementen kennen die je daar kunnen brengen. Een goede plek om te beginnen is met zoekwoorden. Zoekmachines gebruiken geavanceerde processen om zoekwoordgebruik en andere factoren te categoriseren en analyseren om erachter te komen ...

Persberichten als bron van SEO-inhoud - dummies

Persberichten als bron van SEO-inhoud - dummies

Het leuke aan persberichten is dat u ze zonder toestemming op uw website kunt gebruiken, en sommige zullen al voor de zoekmachine zijn geoptimaliseerd. Het doel van een persbericht is om het uit te sturen en te zien wie het ophaalt. U hoeft geen contact op te nemen met de eigenaar van het persbericht, omdat ...

Kies een domeinnaam die geoptimaliseerd is voor zoekmachines - dummies

Kies een domeinnaam die geoptimaliseerd is voor zoekmachines - dummies

Zelfs de domeinnaam van uw site moet geoptimaliseerd voor zoekmachines. Zoekmachines lezen uniforme resource locators (URL's), op zoek naar sleutelwoorden erin. Bijvoorbeeld als u een website heeft met de domeinnaam knaagdierracen. com en iemand zoekt Google op knaagdierenraces, Google ziet rodent-racing als een wedstrijd; omdat er een streepje verschijnt tussen de twee ...

Bewerkers keuze

Praxis Elementair onderwijs Examen-Economie - dummies

Praxis Elementair onderwijs Examen-Economie - dummies

U zult enkele basisconcepten van de economie voor de Praxis moeten kennen Elementair onderwijs examen. Elementaire economie onderzoekt de wens voor, de productie van en de verkoop en het gebruik van geld, zowel lokaal als wereldwijd. Het onderwijzen van economie omvat concepten zoals behoeften versus behoeften, kosten en meer tot nadenken stemmende onderwerpen, zoals de volgende: ...

Praxis Elementair onderwijs voor Dummy's Cheat Sheet - dummies

Praxis Elementair onderwijs voor Dummy's Cheat Sheet - dummies

Het Praxis basisonderwijs: Curriculum, instructie en beoordeling examen (5017) bestrijkt een breed scala van wat u moet weten over basisonderwijs. Als u het Praxis Elementary Education: Content Knowledge-examen (5018) neemt, moet u zich ervan bewust zijn dat het de dekking beperkt tot de inhoud van de vier hoofdonderwerpen die een elementaire leraar is ...

Praxis Core For Dummies Cheat Sheet - dummies

Praxis Core For Dummies Cheat Sheet - dummies

Voordat je te opgewonden raakt, begrijp dat de informatie die volgt niet klopt eigenlijk niet over het bedriegen van de Praxis. Het gaat echt meer om de meest efficiënte manieren om je voor te bereiden op het examen. Maar "voorbereidingsblad" heeft niet helemaal dezelfde reden. Trouwens, vals spelen is niet nodig als je weet wat je aan het doen bent, en ...