Huis Persoonlijke financiën Ooozie-workflows ontwikkelen in Hadoop - dummies

Ooozie-workflows ontwikkelen in Hadoop - dummies

Video: Apache OOZIE | OOZIE in Hadoop | OOZIE Workflows | COSO IT 2024

Video: Apache OOZIE | OOZIE in Hadoop | OOZIE Workflows | COSO IT 2024
Anonim

Oozie-workflows in de kern gerichte grafieken zijn, waar je acties (Hadoop-applicaties) en dataflow kunt definiëren, maar zonder looping - wat betekent dat je kunt ' t definieer een structuur waarbij u een specifieke bewerking steeds opnieuw uitvoert totdat aan een of andere voorwaarde is voldaan (bijvoorbeeld een for-lus).

Oozie-workflows zijn vrij flexibel omdat u op voorwaarden gebaseerde beslissingen en gevorkte paden voor parallelle uitvoering kunt definiëren. U kunt ook een breed scala aan acties uitvoeren.

In deze afbeelding ziet u een werkstroom met de basisfuncties van Oozie-workflows. Eerst wordt een Pig-script uitgevoerd en dit wordt onmiddellijk gevolgd door een beslissingsboom. Afhankelijk van de status van de uitvoer, kan de besturingsstroom direct naar een HDFS-bestandshandeling (Hadoop Distributed File System) gaan (bijvoorbeeld een copyToLocal-bewerking) of naar een vorkactie.

Als de besturingsstroom naar de vorkactie gaat, worden twee taken tegelijkertijd uitgevoerd: een MapReduce-taak en een Hive-query. De besturingsstroom gaat vervolgens naar de HDFS-bewerking zodra zowel de MapReduce-taak als de Hive-query zijn voltooid. Na de HDFS-bewerking is de workflow voltooid.

Oozie-workflowdefinities worden geschreven in XML, op basis van het Hadoop Process Definition Language (hPDL) -schema. Dit specifieke schema is op zijn beurt gebaseerd op het XPDL-schema (XML Process Definition Language), een productonafhankelijke standaard voor het modelleren van definities van bedrijfsprocessen.

Een Oozie-workflow bestaat uit een reeks acties die worden gecodeerd door XML-knooppunten. Er zijn verschillende soorten knooppunten die verschillende soorten acties of besturingsstroomrichtlijnen vertegenwoordigen. Elke Oozie-workflow heeft zijn eigen XML-bestand, waarin elk knooppunt en de onderlinge verbindingen zijn gedefinieerd.

Werkstroomknooppunten vereisen allemaal unieke identificatiegegevens omdat ze worden gebruikt om het volgende knooppunt te identificeren dat in de werkstroom moet worden verwerkt. Dit betekent dat de volgorde waarin de acties worden uitgevoerd, afhankelijk is van waar het knooppunt van een actie in de workflow-XML wordt weergegeven. Bekijk de volgende lijst om te zien hoe dit concept eruit zou zien, dat een voorbeeld toont van de basisstructuur van een XML-bestand van een Oozie-workflow.

… … "Killed job."

In dit voorbeeld heeft u naast de start-, eind- en kill-knooppunten twee actieknooppunten. Elk actieknooppunt vertegenwoordigt een toepassing of een opdracht die wordt uitgevoerd.

Ooozie-workflows ontwikkelen in Hadoop - dummies

Bewerkers keuze

Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies

Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies

Wanneer het komt om het voordeel dat u van LinkedIn krijgt te maximaliseren, bent u uw grootste pleitbezorger. Hoewel je netwerk van connecties je helpt te groeien, gebeurt veel van je marketing zonder dat je erbij betrokken bent. Nadat je je profiel hebt aangemaakt, worden die en andere LinkedIn-activiteit van je gelezen en beoordeeld door de ...

Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies

Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies

Deze dagen, wanneer u naar een nieuwe stad moet verhuizen, kunt u er veel plannen voor maken op LinkedIn en op internet. Je kunt de buurten onderzoeken, de schoolsystemen bekijken en online naar huizen gaan. Je kunt een stap verder gaan als je van plan bent om naar een andere ...

Hoe u uw LinkedIn-contactinstellingen controleert - dummies

Hoe u uw LinkedIn-contactinstellingen controleert - dummies

U zeker wilt dat u de juiste instellingen selecteert contactinstellingen voor uw LinkedIn-profiel. Als u bijvoorbeeld op zoek bent naar een nieuwe baan, wilt u er zeker van zijn dat de optie voor Carrièremogelijkheden is gecontroleerd. Wanneer u klaar bent om uw contactinstellingen te controleren, volgt u deze stappen: Ga naar ...

Bewerkers keuze

Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies

Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies

Uw Canon EOS Rebel XS / 1000D heeft alle functies die u kunt gebruiken om fantastische foto's te maken. Je moet de beeldmodus instellen op het onderwerp van je foto en de Canon EOS Rebel XS / 1000D laat je volledig of gedeeltelijk automatisch gaan met de belichtingsinstellingen.

Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies

Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies

Live-modus Met autofocus kunt u de focus instellen op uw Canon EOS Rebel T3 of T3i zonder tijdelijk het voorbeeld van de monitor te verliezen. Bovendien, in plaats van het selecteren van negen autofocuspunten, verplaatst u eenvoudig een enkel scherpstelpunt over uw onderwerp. Aan de andere kant is de autofocus van de Live-modus merkbaar langzamer dan in de Quick-modus, en ...

Bewerkers keuze

Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies

Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies

Tekstgrootte wordt ingesteld in uw Word 2016 document gebaseerd over de meting van de oude letterzetter, ook wel punten genoemd. Hier zijn enkele aandachtspunten waarmee u rekening moet houden bij het opmaken van tekst in Word: hoe groter de puntgrootte, hoe groter de tekst. De meeste gedrukte tekst is 10 of 12 punten lang. Koppen zijn meestal 14 ...

Grammatica controleren in Word 2007 - dummies

Grammatica controleren in Word 2007 - dummies

Naast het controleren op correcte spelling, kunt u met Word 2007 ook om uw documenten te bewijzen om grammaticale fouten te voorkomen. U kunt de grammaticasuggesties van Word bekijken terwijl u door het document bladert, of u kunt een traditionele spellingcontrole uitvoeren. Word biedt u zelfs de kans om de gemarkeerde fout te onderzoeken en meer te leren van ...

Spelling controleren terwijl u typt in Word 2013 - dummies

Spelling controleren terwijl u typt in Word 2013 - dummies

Woord 2013 heeft een interne bibliotheek vol met ontelbare woorden, allemaal correct gespeld. Telkens wanneer u een woord typt, wordt het vergeleken met dat woordenboek. Wanneer het woord niet wordt gevonden, wordt dit als verdacht gemarkeerd in uw document. Het merk is een rode zigzaglijn. Mijn advies: blijf typen. Laat de "rode zigzag van een ...