Middleware Services: datamapping en -transformatie - dummies

Deze afbeelding toont een omgeving waarin gegevens worden geëxtraheerd uit drie verschillende gegevensbronnen voor opname in een datawarehouse, en elk van de drie bronnen bevindt zich op een ander platform. Op een bepaald punt in het middleware-proces moeten deze QA'd-extracten bij elkaar worden gebracht voor een gecombineerd mapping- en transformatieproces.

De mapping- en transformatieservice verwerkt klassieke datawarehouse-problemen. Stel dat één gegevensbron klanten opslaat met behulp van een klant-ID van vijf tekens en een andere bron een zescijferige klant-ID gebruikt.

Om vergelijkingen en andere verwerking van gegevensmagazijnen mogelijk te maken, hebt u een algemene methode voor klantidentificatie nodig: een van de identificatieschema's moet naar de andere worden geconverteerd, of misschien een derde, neutraal identificatiesysteem, afhankelijk van de kenmerken van de omgeving.

Behalve om incompatibiliteiten tussen systemen te verhelpen, kunnen aanvullende transformaties

• Gegevenssamenvatting bevatten: Een samenvatting kan eerder in het proces worden uitgevoerd, voordat het systeem wordt verplaatst, afhankelijk van de eigenaardigheden van uw specifieke data warehousing-omgeving.

• Selectief opnemen van gegevens: U kunt records van slechts één gegevensbron opnemen, bijvoorbeeld als u een vergelijkbaar record van een ander uittreksel krijgt. U weet niet, totdat u alle bijdragen van de gegevensbron convergeert, hoe selectieve insluitingsregels worden toegepast.

• Gegevensconvergentie: Bepaalde elementen uit één gegevensbron worden gecombineerd met elementen uit een andere bron om één verenigd record te maken voor elke klant, product, contract of welk type gegevens u ook gebruikt met.

Het belangrijkste punt om te onthouden over de toewijzing- en transformatieservice is dat u aan het einde een uniforme set gegevens moet hebben die klaar is om in het datawarehouse te worden geladen - zodra u nog een paar stappen hebt voltooid.

In complexe data warehousing-omgevingen wilt u mogelijk meerdere transformatieprocessen overwegen. Zoals in deze figuur wordt getoond, komen gegevensuittreksels bijvoorbeeld samen in verschillende transformatie-niveaus voordat ze verder de middleware-pijplijn aflopen, waardoor u meer vermogen aan het transformatieproces kunt toedienen door meerdere servers vroeg in de flow te gebruiken.