Data Extraheren, verplaatsen en laden voor Data Warehouse Deluxe - dummies

Dataplatform Deluxe-implementaties zijn groot en worden steeds groter. Implementaties die honderden gigabytes gebruiken (een gigabyte is gelijk aan 1 miljard bytes) en zelfs terabytes (1 biljoen bytes) komen steeds vaker voor. Om dit volume aan gegevens en gebruikerstoegang te beheren, hebt u een zeer robuuste server en database nodig.

Bereid je voor op de uitdaging! Met een data warehouse-lite kunt u meestal eenvoudig gegevens van bron naar magazijn verplaatsen op een eenvoudige, low-tech manier - maar met het datawarehouse deluxe, betreedt u nu de Difficulty Zone, waar veel data warehousing-projecten voldoen aan hun Waterloo.

U ondervindt om verschillende redenen moeilijkheden in dit domein:

• U hebt te maken met veel verschillende gegevensbronnen, waarvan sommige overlappende gegevens kunnen bevatten. Leveranciersinformatie kan bijvoorbeeld afkomstig zijn van twee verschillende inkoopsystemen en sommige van uw leveranciers hebben vermeldingen in beide systemen.

  U kunt waarschijnlijk verschillende sets ID's tegenkomen die u moet convergeren (bijvoorbeeld zes alfanumerieke tekens die worden geïdentificeerd als de SUPPLIER_ID in een van de systemen en een uniek geheel getal dat bekendstaat als SUP_NUM in de andere).

• Als uw datawarehouse groot is (met meer dan ongeveer 250 gigabytes), zult u waarschijnlijk problemen ondervinden bij het uitnemen, verplaatsen en laden van uw batchvensters. Batchvensters , de tijdspaden waarin updates in het magazijn worden uitgevoerd, worden gecompliceerd door het aantal gegevensbronnen dat u moet verwerken.

• De kans dat het proces van extractie, verplaatsing, transformatie en laden is mislukt, hangt exponentieel samen met het aantal gegevenselementen dat in het datawarehouse moet worden geladen.

  Als u een moeilijkheidsfactor (een geheel getal, bijvoorbeeld) zou kunnen toewijzen aan het proces om gegevens naar het magazijn te krijgen, zouden de volgende maatregelen gelden: u heeft n gegevens elementen die u in het datawarehouse wilt opnemen met een moeilijkheidsfactor x. Als u nu 2 n gegevenselementen heeft, is uw moeilijkheidsfactor niet 2 x; het is eerder x in het kwadraat.

  Om deze moeilijkheidfactor gemakkelijker te begrijpen te maken, wijst u enkele cijfers toe aan n en x. Stel dat uw datawarehouse 100 elementen (n) heeft en dat de moeilijkheidsfactor (x) 5 is. Als u het aantal elementen verdubbelt ( n > = 200), is uw moeilijkheidsfactor 25 (5 kwadraat), niet 10 (5 x 2). Het proces van het omgaan met zoveel gegevensbronnen, allemaal op weg naar één plek (uw datawarehouse deluxe), bevat alle elementen van te veel koks in de keuken, of wat dat ook zegt.

• Om het extractie-, verplaatsings-, transformatie- en laadproces vlot te laten verlopen, moet u waarschijnlijk veel verschillende eigenaren van applicaties, officiële beheerders van de database en andere mensen uit verschillende organisaties behandelen, die allemaal te maken hebben met samenwerken zoals ze deel uitmaken van een professioneel symfonieorkest.

  De realiteit is echter dat ze meer presteren als een groep leerlingen in de kleuterklas die elk een muziekinstrument uit de speelgoedbak halen en wordt verteld: "Speel nu iets! "Hoewel het proces niet noodzakelijkerwijs gedoemd is te mislukken, kunt u een aantal iteraties verwachten totdat u het datawarehouse deluxe precies goed geladen kunt krijgen.

  Een datawarehouse deluxe kan drie lagen hebben (zoals een datawarehouse lite), behalve dat meer gegevensbronnen en misschien meer dan één type gebruikerstool toegang hebben tot het magazijn. Maar de architectuur voor een datawarehouse-deluxe lijkt waarschijnlijk meer op wat in deze figuur wordt getoond, met veel verschillende verzamelpunten voor gegevens.

Naast andere noodzakelijke "way stations" voor uw specifieke omgeving, kan uw omgeving deze elementen hebben:

Data mart:

• Ontvangt subsets met informatie uit de datawarehouse deluxe en dient als het primaire toegangspunt voor gebruikers. Interim-transformatiestation:

• Een gebied waarin datasets die uit sommige bronnen worden geëxtraheerd, een bepaald type transformatieproces ondergaan voordat ze de pijplijn naar de database van het magazijn verplaatsen. Kwaliteitsbewakingsstation:

• Een gebied waarin gegevensgroepen intensieve kwaliteitscontroles uitvoeren voordat u ze het datamagazijn binnenstapt.