Data Warehouse Modernisation met Hadoop - dummies

Datawarehouses nu onder druk staan, in een poging om het hoofd te bieden hogere eisen aan hun eindige middelen. Hadoop kan aanzienlijke opluchting bieden in deze datawarehouse-situatie.

De snelle toename van de hoeveelheid gegevens die in de wereld wordt gegenereerd, heeft ook gevolgen gehad voor datawarehouses omdat de hoeveelheid gegevens die ze beheren toeneemt, deels omdat meer gestructureerde gegevens, het soort gegevens dat sterk wordt getypt en ingesloten in rijen en kolommen - wordt gegenereerd, maar ook omdat u vaak te maken hebt met wettelijke vereisten die ontworpen zijn om de toegang tot historische gegevens te houden.

Bovendien wordt de verwerkingskracht in datawarehouses vaak gebruikt om transformaties van de relationele gegevens uit te voeren wanneer deze het magazijn zelf binnenkomt of wordt geladen in een onderliggende datamart (een afzonderlijke subset van het datawarehouse) voor een specifieke analysetoepassing.

Bovendien neemt de behoefte toe voor analisten om nieuwe query's uit te voeren tegen de gestructureerde gegevens die zijn opgeslagen in magazijnen, en deze ad-hocquery's kunnen vaak gebruikmaken van belangrijke gegevensverwerkingsresources. Soms is een eenmalig rapport voldoende, en soms is een verkennende analyse nodig om vragen te vinden die nog niet zijn gesteld en die significante bedrijfswaarde kunnen opleveren.

Waar het om gaat, is dat datawarehouses vaak worden gebruikt voor doeleinden buiten hun oorspronkelijke ontwerp.

De afbeelding laat zien hoe Hadoop, met behulp van architectuur op hoog niveau, naast datawarehouses kan leven en een aantal doelen kan vervullen waarvoor ze niet zijn ontworpen.

Hadoop is een magazijn helper, geen magazijnvervanger. Hadoop kan een datawarehousing-ecosysteem op vier manieren moderniseren; hier zijn ze samengevat:

• Zorg voor een bestemmingszone voor alle gegevens.

• Houd de gegevens aan om een ​​queryabel archief met koude gegevens te leveren.

• Benut de grootschalige batchverwerkingsefficiënties van Hadoop om gegevens voor het magazijn voor te verwerken en te transformeren.

• Schakel een omgeving in voor ad hoc-gegevensontdekking.