Middleware voor Data Warehousing - dummies

Middleware is computersoftware die softwarecomponenten verbindt. In een datawarehouse-omgeving zijn de middleware-services de set programma's en routines die het volgende doen:

• Gegevens uit de bron (of bronnen) halen.

• Controleer of de gegevens kloppen.

• Verplaats de gegevens over de omgeving van platform naar platform, indien nodig.

• Omgaan met de noodzakelijke datatransformaties.

• Laad de gegevens in de database (of databases) van het datawarehouse.

In meer formele zin worden de items in de voorgaande lijst afgehandeld door deze middlewareservices:

• Gegevensselectie en extractie

• Gegevenskwaliteitsborging, deel I (op het niveau van componenten)

• Gegevensbeweging, deel I (ook op het niveau van de componenten)

• Datamapping en -transformatie

• Datakwaliteitsborging, deel II (nadat transformatie heeft plaatsgevonden)

• Datamobiliteit, deel II (in de platformomgeving van het datawarehouse)

• Data laden (in het datawarehouse) > Deze afbeelding illustreert hoe deze middleware-services samenvloeien in een datawarehousingomgeving met een gemiddelde grootte.

Maar uw datawarehousing-omgeving kan verschillen van de omgeving die in deze figuur wordt getoond, met name op het gebied van de datingsportdiensten. Een gegevensbewegingsservice is nodig telkens wanneer gegevens de systeemgrenzen overschrijden. Uw conceptuele afbeelding verschilt, afhankelijk van de details van uw specifieke end-to-end-omgeving.

U moet absoluut absoluut weten dat u dataware-middleware moet plannen, ontwerpen en anders denken in termen van de afzonderlijke services in de voorgaande lijst, in plaats van in algemene termen, zoals 'extractietools. "Veel verschillende leveranciers bieden sommige, veel of al deze diensten als onderdeel van een enkel product of een reeks producten.

Maar een tool met sterke toewijzings- en transformatieservices kan bijvoorbeeld zwak zijn in services voor het laden van gegevens, of een tool die een uitgebreide reeks extractieservices biedt, is mogelijk minder effectief in de ruimte voor mapping en transformatie. tot datakwaliteitsborging. Voordat u een hulpprogramma voor uw datawarehousing-project selecteert (als dat de route is die u kiest, in plaats van aangepaste codering), moet u ervoor zorgen dat u een goed idee hebt van de specifieke uitdagingen in uw omgeving. Als u bijvoorbeeld relatief eenvoudige gegevensextractie nodig hebt, maar uitdagende problemen met de gegevenskwaliteit, moet u zich concentreren op het vinden van de beste kwaliteitsborgingshulpprogramma die beschikbaar is, zelfs als deze maar over zooveele extractiemogelijkheden beschikt.

(Dit advies is ook van toepassing als het hulpmiddel geen extractiemogelijkheden heeft, in welk geval u het met een ander hulpmiddel moet combineren.)