De op Hadoop gebaseerde landingszone - dummies

Wanneer u probeert uit te puzzelen wat een analyseomgeving is kan er in de toekomst uitzien, stuit je keer op keer op het patroon van de op Hadoop gebaseerde landingszone. Het is zelfs niet langer een toekomstgerichte discussie, omdat de landingszone de is geworden, zodat toekomstgerichte bedrijven nu proberen IT-kosten te besparen en een platform bieden voor innovatieve gegevensanalyse.

Wat is precies de landingszone? Op het meest basale niveau is de -landingszone slechts de centrale plaats waar gegevens in uw onderneming terechtkomen - wekelijkse extracties van gegevens uit operationele databases bijvoorbeeld of uit systemen die logbestanden genereren. Hadoop is om deze redenen een nuttige opslagplaats voor het landen van gegevens:

• Het kan allerlei soorten gegevens verwerken.

• Het is eenvoudig schaalbaar.

• Het is goedkoop.

• Nadat u gegevens in Hadoop hebt geïmporteerd, kunt u de gegevens op verschillende manieren opvragen, analyseren of verwerken.

  

Dit diagram toont slechts een deel van het verhaal en is geenszins compleet. U moet tenslotte weten hoe de gegevens van de landingszone naar het datawarehouse worden verplaatst, enzovoort.

Het uitgangspunt voor de discussie over de modernisering van een datawarehouse moet zijn hoe organisaties datawarehouses gebruiken en de uitdagingen waarmee IT-afdelingen worden geconfronteerd.

In de jaren tachtig van de vorige eeuw, toen organisaties hun operationele informatie in relationele databases (bijvoorbeeld verkooptransacties of supply chain-status) goed konden opslaan, begonnen bedrijfsleiders rapporten te ontvangen die waren gegenereerd op basis van deze relationele gegevens. De eerste relationele winkels waren operationele databases en waren ontworpen voor online transactieverwerking (OLTP), zodat records zo snel mogelijk konden worden ingevoegd, bijgewerkt of verwijderd.

Dit is een onpraktische architectuur voor rapportage en analyse op grote schaal, daarom zijn relationele online analytische verwerkingsbestanden (ROLAP) ontwikkeld om aan deze behoefte te voldoen. Dit leidde tot de ontwikkeling van een geheel nieuw soort RDBMS: een datawarehouse, dat een afzonderlijke entiteit is en samen met de operationele dataopslag van een organisatie leeft.

Dit komt neer op het gebruik van speciaal ontwikkelde tools voor meer efficiëntie: u beschikt over operationele dataopslag, die is ontworpen om transacties efficiënt te verwerken, en datawarehouses, die zijn ontworpen ter ondersteuning van herhaalde analyse en rapportage.

Datawarehouses staan ​​echter onder toenemende druk, en wel om de volgende redenen:

• Toenemende vraag om langere gegevensperioden online te houden.

• Toegenomen vraag naar verwerkingsbronnen om gegevens te transformeren voor gebruik in andere magazijnen en datamarts.

• Toegenomen vraag naar innovatieve analyses, waarbij analisten vragen moeten stellen over de magazijngegevens, bovenop de reguliere rapportage die al wordt uitgevoerd. Dit kan een aanzienlijke extra verwerking tot gevolg hebben.

In de figuur ziet u dat het datawarehouse wordt gepresenteerd als de primaire resource voor de verschillende soorten analyses die aan de rechterkant van de figuur worden weergegeven. Hier zie je ook het concept van een landingszone weergegeven, waar Hadoop gegevens van verschillende inkomende gegevensbronnen zal opslaan.

Als u een Hadoop-bestemmingszone wilt inschakelen, moet u ervoor zorgen dat u gegevens van de verschillende gegevensbronnen naar HDFS kunt schrijven. Voor relationele databases zou een goede oplossing zijn om Sqoop te gebruiken.

Het landen van de gegevens is slechts het begin.

Wanneer u gegevens van veel bronnen naar uw bestemmingszone verplaatst, is een probleem dat u onvermijdelijk tegenkomt, de gegevenskwaliteit. Het is gebruikelijk dat bedrijven over veel operationele databases beschikken waar belangrijke details anders zijn, bijvoorbeeld dat een klant bekend staat als "D. deRoos "in een database en" Dirk deRoos "in een andere.

Een ander kwaliteitsprobleem ligt in systemen waarbij er veel wordt vertrouwd op handmatige invoer van gegevens, hetzij van klanten of personeel - hier is het niet ongebruikelijk om voornamen en achternamen te vinden die zijn omgeschakeld of andere onjuiste informatie in de gegevensvelden.

Problemen met gegevenskwaliteit zijn een groot probleem voor datawarehouse-omgevingen en daarom wordt er veel aandacht besteed aan opschonings- en validatiestappen wanneer gegevens van andere systemen worden verwerkt terwijl het in het magazijn wordt geladen. Het komt allemaal neer op vertrouwen : als de gegevens waar u vragen tegen stelt vies zijn, kunt u de antwoorden in uw rapporten niet vertrouwen.

Dus hoewel er een enorm potentieel is om toegang te hebben tot veel verschillende gegevenssets van verschillende bronnen in uw Hadoop-bestemmingszone, moet u rekening houden met de gegevenskwaliteit en hoeveel u de gegevens kunt vertrouwen.