Video: What is Middleware? Service Oriented Architecture Explained 2024
Het primaire doel van de dataselectie en -extractieservice is om te selecteren uit (zoek in) een gegevensbron de gegevens die u wilt naar het datawarehouse gaan en vervolgens uitpakken (uittrekken) die gegevens in een formulier dat gereed kan worden gemaakt voor kwaliteitscontroleservices.
U kunt een van de twee verschillende soorten selectie- en extractieservices gebruiken voor uw data warehousing-omgeving:
-
Haal ze allemaal op en sorteer ze later: Zoek en extraheer alle gegevenselementen in een bron die u in uw datawarehouse wilt laden, ongeacht of een specifiek element is eerder geëxtraheerd.
-
Wijzigingsgericht: Zoek en extraheer alleen de gegevenselementen die recent aan de gegevensbron zijn toegevoegd of die sinds de laatste extractie zijn bijgewerkt.
Het eerste type service vereist minder complexe logica om de extractie uit te voeren. Maar je hebt te maken met grotere volumes (soms veel grotere volumes) data dan met het tweede type, de op verandering gerichte service.
De op verandering gerichte methode voor selectie en extractie is redelijk eenvoudig wanneer uw bron een relationele database is met een tijdstempel die u kunt gebruiken om te detecteren wanneer een rij met gegevens is toegevoegd of voor het laatst is bijgewerkt.
U kunt een rij met gegevens vergelijken met de datum en tijd van het laatste extractieproces om te bepalen of gegevens moeten worden geselecteerd en geëxtraheerd. Maar wanneer de gegevens worden opgeslagen in een bestand dat geen tijdstempel heeft (bijvoorbeeld een VSAM-bestand), kan dit proces aanzienlijk moeilijker zijn.
U kunt ook voor een uitdaging staan wanneer brongegevens uit een bestand of een database zijn verwijderd. Als de bedrijfsregels voor uw datawarehousemilieu vragen om de overeenkomstige gegevens uit het magazijn te verwijderen, moet u een manier hebben om verwijderingen te detecteren die zijn aangebracht sinds het laatste extractieproces om ervoor te zorgen dat de juiste verwijderingen in uw magazijn worden aangebracht.
Het resultaat van de selectie en extractie is, goed, een uittreksel van gegevens dat klaar is om een aanvullende verwerking te ondergaan: controle van de gegevenskwaliteit.