Zorg voor de kwaliteit van inkomende externe gegevens - dummies

Wanneer u een datawarehouse ontwerpt en u bepaalt welke externe gegevens u nodig hebt, plaatst u gewoon een bestelling (vergelijkbaar met het bestellen van kleding of een fruitmand van een online site). Nadat u gegevens ontvangt via een stream, bestandsoverdracht of op een andere manier, is het soepel zeilen - of toch?

Hoe zit het met de kwaliteit van de binnenkomende gegevens? U moet absoluut dezelfde set kwaliteitsborgingsprocedures (QA) toepassen op extern verstrekte gegevens die u doet aan gegevens die afkomstig zijn van uw eigen interne systemen. Alleen omdat u de informatie op de open markt koopt, garandeert dit niet dat de gegevens foutloos zijn.

Pas QA-procedures toe op elke inkomende batch gegevens door deze stappen te volgen:

1. Ga na of aan de binnenkomende gegevens controlewaarden zijn toegevoegd die aan de bestanden zijn toegevoegd.

   Enkele voorbeelden van controlewaarden zijn het aantal records in elk bestand, de totale waarde van elke numerieke kolom (totale verkoopdollars voor alle records en totale verkochte eenheden voor alle records, bijvoorbeeld) en subsets van de totale kolomwaarden (totale verkoopbedragen en eenheden per staat, bijvoorbeeld).

   Als controlewaarden worden verstrekt, moeten ze worden opgeslagen en gebruikt als onderdeel van de end-to-end laadprocedures. Niemand mag de inhoud van het magazijn officieel bijwerken totdat de cheque-totalen overeenkomen met de berekeningen die u hebt gemaakt toen u de gegevens voor het laden voorbereidde.

2. Als er geen controlewaarden zijn opgegeven, vraagt ​​u deze aan.

   Hoewel de aanvraag enkele cycli kan duren (bijvoorbeeld enkele weken of maanden) om in te vullen, neemt elke gegevensprovider die geïnteresseerd is in het bieden van een hoog niveau van klantenservice dit soort verzoeken serieus en probeert de gevraagde besturingsinformatie te maken beschikbaar.

3. Filter elke rij tijdens uw laadprocedures.

   Zorg ervoor dat de volgende voorwaarden van toepassing zijn:

   1. Toetsen (unieke ID's voor elke record) zijn correct voor alle informatie. Als elke record in de SalesMasterRecord-gegevensgroep bijvoorbeeld precies 12 gerelateerde records in SalesDetailRecord moet hebben (één voor elke maand), moet u ervoor zorgen dat alle detailrecords aanwezig zijn door recordsleutelwaarden te vergelijken.

   2. Waardenbereik is correct. Productverkopen per maand moeten bijvoorbeeld binnen redelijke grenzen liggen voor dat type product (vliegtuigen verschillen bijvoorbeeld van bouten).

   3. Ontbrekende velden met informatie (een waarschijnlijk - bijna onvermijdelijk - voorval met extern verstrekte gegevens) verdraaien de betekenis van de binnenkomende gegevens niet.

      De afwezigheid van aanvullende gegevens (gedefinieerd volgens de bedrijfsregels voor uw specifieke branche of organisatie) is bijvoorbeeld mogelijk geen al te groot probleem, als de helft van de binnenkomende records een lege ruimte heeft waar UnitsSold, TotalSalesPrice, of een ander kritisch type informatie zou moeten zijn, de waarde van de gegevens is op zijn best dubieus.

   4. Gebruik, vooral in de vroege stadia van het verzamelen van externe gegevens (bijvoorbeeld de eerste drie of vier maanden), uw analysehulpmiddelen, zoals beschreven in hoofdstuk 10, om de gegevenskwaliteitsanalyse uit te voeren voordat uw gebruikers dezelfde hulpmiddelen gebruiken om zaken te doen analyse.

      Zoek naar eigenaardigheden, anomalieën, raadselachtige resultaten, inconsistenties, schijnbare paradoxen en al het andere dat er alleen maar raar uitziet. Boor vervolgens naar de wortels van de gegevens om te controleren op de oorzaak van de gekheid.

      Houd er rekening mee dat u waarschijnlijk te maken hebt met vele miljoenen rijen binnenkomende gegevens: u kunt niet alleen elke afzonderlijke rij persoonlijk uitchecken, maar u kunt ook problemen ondervinden bij het instellen van uw filter- en QA-controlecriteria voor elke mogelijke voorwaarde.

      Iedereen die ooit iets heeft gedaan met extern verstrekte brongegevens, heeft allerlei vreemde inconsistenties en ontbrekende gegevens in de binnenkomende informatie tegengekomen. Door jezelf in de plaats te stellen van gebruikers en dezelfde tools te gebruiken die ze gebruiken, kun je waarschijnlijk een aantal dingen ontdekken die je kunt corrigeren, waardoor je datawarehouse een veel betere winkel van waardevolle bedrijfsinformatie wordt.