Kloppen uw gegevens? - dummies

De meeste datasets bevatten een soort van metadata, wat in wezen een beschrijving is van de gegevens in de het dossier. Metagegevens bevatten meestal beschrijvingen van de indelingen, een indicatie van welke waarden in elk gegevensveld gelden en wat deze waarden betekenen.

Als u te maken krijgt met een nieuwe gegevensset, neem de metadata dan nooit voor nominale waarde. De aard van big data vereist dat de systemen die het genereren, zo veel mogelijk worden onderhouden. Daarom is het bijwerken van de metadata voor deze systemen bij het implementeren van wijzigingen niet altijd een topprioriteit. U moet bevestigen dat de gegevens echt zijn zoals de metagegevens beweren.

Uw bronnen controleren

Hoe vanzelfsprekend het ook klinkt, het is belangrijk dat u vertrouwen hebt in waar uw gegevens vandaan komen. Dit is vooral belangrijk wanneer u gegevens koopt. Duizenden verkopers bieden alle denkbare gegevens. En ze zijn niet allemaal even geloofwaardig.

Probeer voordat u gegevens koopt precies te begrijpen waar en hoe de leverancier deze verzamelt. Mysteriousness en vaagheid zijn rode vlaggen.

Neem geen verkopers op hun woord. Vertrouw niet uitsluitend op klanttevredenheidsposten op de website of op klantreferenties die door de leverancier worden verstrekt. Probeer indien mogelijk iemand op te sporen die de gegevens gebruikt of heeft gebruikt.

Als uw gegevens afkomstig zijn van interne systemen, is het nog steeds belangrijk om de bronnen te evalueren. Verschillende systemen hebben verschillende doeleinden en zijn daarom gericht op verschillende gegevens. Ze kunnen ook op verschillende tijdstippen gegevens verzamelen.

Het is bijvoorbeeld niet ongebruikelijk dat sommige hotelketens reserveringen boeken in een ander systeem dan dat ze gebruiken bij de receptie wanneer de gast incheckt. Het is mogelijk dat de gast deze ontvangt een kortingaanbieding tussen boeking en check-in. Dit betekent dat de kamerprijs in het reserveringssysteem mogelijk niet overeenkomt met het tarief in het systeem van de receptie. Bovendien kan de reservering worden geannuleerd en nooit bij de receptie komen!

Stel nu dat u een analyse van hotelinkomsten per stad uitvoert. Het is nogal belangrijk dat u weet dat uw kamerprijsgegevens afkomstig zijn van het systeem van de receptie in plaats van het reserveringssysteem. Maar wat als u probeert te analyseren hoeveel reserveringen zijn gegenereerd door de Super Bowl-commercial van uw bedrijf? In dit geval wilt u gegevens van het reserveringssysteem zien.

Het hotelvoorbeeld illustreert dat zelfs intrinsiek schone gegevens problematisch kunnen zijn. Zelfs als de gegevens kloppen en precies zijn wat het beweert te zijn, kan timing een probleem zijn.Gegevens veranderen in de loop van de tijd.

Controleren op indelingen

Zoals eerder in dit hoofdstuk is vermeld, is een van de dingen die uw metagegevens voor u zullen verschaffen enige indicatie van hoe de gegevens zijn opgemaakt. Met opgemaakt, bedoelen we hoe elk specifiek gegevenselement eruitziet. Is "Productcode" een teken of cijfer? Is "Startdatum" een datum of is het echt een datumstempel?

Datatypen zijn belangrijk in statistische analyse omdat ze bepalen welke statistieken en statistische procedures kunnen worden toegepast op welke gegevenselementen. Als u de gemiddelde waarde van een tekenveld als 'Voornaam' probeert te nemen, krijgt u elke keer een foutmelding.

Dit type metadata is meestal behoorlijk nauwkeurig. Het wordt over het algemeen opgeslagen door het systeem dat de gegevens bevat en kan automatisch worden gegenereerd. Het verifiëren van de formaten is over het algemeen vrij eenvoudig. Een dergelijke verificatie is in wezen een bijproduct van de validatie van gegevensreeksen die in de volgende sectie worden besproken. Maar er zijn gevallen waarin het een beetje moeilijker kan zijn.

We hebben zo'n scenario vaker gezien dan we ons kunnen herinneren. Het gebeurt soms dat wanneer een systeem voor het eerst wordt ontworpen, het ontwikkelteam enige flexibiliteit in de gegevensstructuren probeert te plaatsen om toekomstige uitbreidingen mogelijk te maken. Soms voegen ze gewoon een aantal lege (en brede) alfanumerieke gegevenskolommen toe aan het einde van elk record. Deze hulppijlen worden aanvankelijk nergens voor gebruikt.

Analisten zullen zich altijd vergissen aan de kant van het vragen om meer gegevens in plaats van minder - vaak alle gegevens in plaats van sommige. Dit gegeven, gecombineerd met de noodzaak om de gegevens snel te verkrijgen, resulteert soms in een gegevensdump van . Deze dump bevat over het algemeen de hulppijlen. In deze gevallen vertelt de metagegevens u iets als "Velden 1-11" zijn opgemaakt als "200 alfanumerieke tekens. "

Dergelijke informatie is praktisch nutteloos. Om een ​​gegevensveld als dit te begrijpen, moet je vrijwel je handen vies maken. Je kunt niet veel doen, behalve een paar tientallen records doorlopen en proberen een goed onderbouwde schatting te maken van wat er in het veld is. In de meeste gevallen zijn deze velden meestal leeg. Maar niet altijd. Het goede nieuws is dat als het veld daadwerkelijk wordt gebruikt, je ergens een programmeur moet kunnen vinden die weet waarvoor het wordt gebruikt.

Typecasting van uw gegevens

Een van de meest kritieke stappen bij het uitvoeren van een statistische analyse is ervoor zorgen dat uw gegevens zijn zoals ze zijn. Statistische procedures zullen onveranderlijk crashen als u hen geen geldige informatie over gegevensformaten verstrekt. Maar deze procedures zijn grotendeels blind voor problemen met de geldigheid van de gegevens.

Het is niet genoeg om te begrijpen hoe een gegevensveld wordt geformatteerd. Voordat u een gegevensset omzet in een statistische procedure, moet u weten wat de gegevens eigenlijk zijn in elk van de velden die u gebruikt.

De meeste gegevens vallen in een van de vier categorieën: nominaal, ordinaal, interval en ratio.Het gegevenstype bepaalt welk soort statistieken en statistische procedures kunnen worden toegepast op bepaalde gegevensvelden. U kunt bijvoorbeeld niet een gemiddelde van een veld als 'Achternaam' nemen.

Verwarrende gegevenstypen met gegevensindelingen zijn eenvoudig (en veel te vaak). Als u weet of een gegevensveld een teken, geheel getal of continu is, wordt het gegevenstype niet vermeld.

Tekenvelden worden soms gebruikt als tijdelijke aanduiding voor gegevens die in toekomstige releases van een systeem kunnen worden vastgelegd. Niets verhindert dat een dergelijk veld wordt gebruikt om monetaire of andere numerieke gegevens vast te leggen.

De meest voorkomende gegevenstypefout betreft het aannemen dat een numeriek veld, in het bijzonder een geheel getal met een waarde, feitelijk numerieke rangorde gegevens bevat. Het is heel gewoon voor bedrijven om numerieke codes ( nominale gegevens) te gebruiken om producten, regio's, winkels en verschillende andere entiteiten te vertegenwoordigen.

Vluchtcodes van luchtvaartmaatschappijen zijn hiervan een voorbeeld. Censusregio's zijn een andere. Zelfs creditcardnummers en burgerservicenummers worden meestal opgeslagen als gehele getallen. Maar al deze entiteiten zijn slechts identifiers. Het zijn nominale variabelen. Het gemiddelde creditcardnummer in de portefeuille van een bank is een betekenisloze statistiek.