8 Praktische tips voor gegevensvoorbereiding - dummies

Statistische softwarepakketten zijn tegenwoordig extreem krachtig, maar ze kunnen geen gegevens van slechte kwaliteit overwinnen. Hieronder volgt een lijst met dingen die u moet doen voordat u statistische modellen gaat bouwen.

Gegevensindelingen controleren

Uw analyse begint altijd met een onbewerkt gegevensbestand. Onbewerkte gegevensbestanden zijn er in veel verschillende vormen en maten. Mainframegegevens zijn anders dan pc-gegevens, spreadsheetgegevens zijn anders geformatteerd dan webgegevens, enzovoort. En in het tijdperk van big data zult u zeker geconfronteerd worden met gegevens uit verschillende bronnen. Uw eerste stap bij het analyseren van uw gegevens is ervoor zorgen dat u de bestanden kunt lezen die u hebt gekregen.

Je moet echt kijken naar wat elk veld bevat. Het is bijvoorbeeld niet verstandig om te vertrouwen dat alleen al omdat een veld wordt vermeld als een tekenveld, het feitelijk tekengegevens bevat.

Gegevenstypen verifiëren

Alle gegevens vallen in een van de vier categorieën die van invloed zijn op het soort statistieken dat u daarop kunt toepassen:

Nominale gegevens zijn in essentie slechts een naam of een ID.
Ordinale gegevens brengen records op volgorde van laag naar hoog.
Intervalgegevens vertegenwoordigen waarden waarbij de verschillen daartussen vergelijkbaar zijn.
Verhoudingsgegevens zijn vergelijkbaar met intervalgegevens, behalve dat deze ook een waarde van 0 toestaan.

Het is belangrijk om te weten in welke categorieën uw gegevens vallen voordat u deze in de statistische software invoert. Anders loop je het risico dat je eindigt met perfect redelijk uitziende brabbeltaal.

Grafiek uw gegevens

Het is belangrijk om een idee te krijgen van hoe uw gegevens worden verspreid. U kunt statistische procedures uitvoeren totdat u blauw in het gezicht bent, maar geen van deze geeft u zoveel mogelijk inzicht in hoe uw gegevens eruit zien als een eenvoudige grafiek.

Gegevensnauwkeurigheid controleren

Zodra u tevreden bent met het feit dat de gegevens op de gewenste manier zijn geformatteerd, moet u nog steeds controleren of deze correct is en dat dit logisch is. Voor deze stap moet je enige kennis hebben van het onderwerp waar je aan werkt.

Er is niet echt een doorsnee aanpak om de nauwkeurigheid van de gegevens te verifiëren. Het basisidee is om enkele eigenschappen te formuleren waarvan u denkt dat de gegevens deze moeten vertonen en om de gegevens te testen om te zien of deze eigenschappen behouden blijven. Zijn aandelenkoersen altijd positief? Komen alle productcodes overeen met de lijst met geldige codes? In wezen probeer je te achterhalen of de gegevens echt zijn zoals je is verteld.

Uitschieters identificeren

Uitschieters zijn gegevenspunten die niet in overeenstemming zijn met de rest van de gegevens. Het zijn ofwel zeer grote of zeer kleine waarden in vergelijking met de rest van de dataset.

Uitschieters zijn problematisch omdat ze de statistieken en statistische procedures ernstig kunnen schaden. Een enkele uitbijter kan een grote impact hebben op de waarde van het gemiddelde. Omdat het gemiddelde het midden van de gegevens zou moeten representeren, maakt deze ene uitschieter in zekere zin de gemiddelde nutteloos.

Bij uitbijters is de meest voorkomende strategie om ze te verwijderen. In sommige gevallen wilt u er misschien rekening mee houden. In deze gevallen is het meestal wenselijk om uw analyse tweemaal te doen - één keer met uitbijters inbegrepen en één keer met de uitschieters uitgesloten. Hiermee kunt u evalueren welke methode meer nuttige resultaten oplevert.

Omgaan met ontbrekende waarden

Ontbrekende waarden zijn een van de meest voorkomende (en vervelende) gegevensproblemen die u tegenkomt. Uw eerste impuls kan zijn om records met ontbrekende waarden uit uw analyse te verwijderen. Het probleem hiermee is dat ontbrekende waarden vaak niet zomaar willekeurige kleine dataglukkingen zijn.

Controleer uw aannames over hoe de gegevens worden gedistribueerd

Veel statistische procedures zijn afhankelijk van de veronderstelling dat de gegevens op een bepaalde manier worden gedistribueerd. Als die aanname niet het geval is, lijdt de nauwkeurigheid van uw voorspellingen.

De meest voorkomende aanname voor de modelleringstechnieken die in dit boek worden besproken, is dat de gegevens normaal worden verspreid.

Of niet. In gevallen waarin de gegevens niet worden verspreid zoals u dat wilt, is niet alles verloren. Er zijn verschillende manieren om gegevens te transformeren om de distributie in de gewenste vorm te krijgen.

Een van de beste manieren om de nauwkeurigheid van een statistisch model te controleren, is door het daadwerkelijk te vergelijken met de gegevens wanneer het eenmaal is gebouwd. Een manier om dat te doen is om uw dataset willekeurig te splitsen in twee bestanden. Je zou deze bestanden respectievelijk Analysis en Test kunnen noemen.

U moet de gegevens willekeurig splitsen om effectief te zijn. U kunt de gegevensset niet eenvoudig splitsen in de bovenste helft en de onderste helft, bijvoorbeeld. Vrijwel alle gegevensbestanden zijn op de een of andere manier gesorteerd - op datum als niets anders. Dit introduceert systematische patronen die verschillende delen van het bestand verschillende statistische eigenschappen zullen geven. Wanneer u het bestand willekeurig splitst, geeft u elke record evenveel kans om in een van beide bestanden te staan. Figuurlijk, je draait een munt voor elke plaat om te beslissen in welk bestand het gaat. Willekeurigheid geeft beide bestanden dezelfde statistische eigenschappen als de originele gegevens.

Als u de gegevensset hebt gesplitst, moet u het testbestand opzij zetten. Ga vervolgens verder met het opstellen van uw voorspellende model met behulp van het analysebestand. Nadat het model is gebouwd, past u het toe op het testbestand en bekijkt u hoe het werkt.

Het testen van modellen op deze manier helpt beschermen tegen een fenomeen dat bekend staat als overmaat . In wezen is het mogelijk voor statistische procedures om het gegevensbestand te onthouden in plaats van betekenisvolle relaties tussen de variabelen te ontdekken. Als er sprake is van overmatig testen, test het model vrij slecht op het testbestand.

Maak een back-up van en documenteer alles wat u doet

Omdat statistische software zo eenvoudig te gebruiken is, is het eenvoudig om rapporten en grafieken te maken, om maar te zwijgen van gegevensbestanden.U kunt de procedures letterlijk met één druk op de knop uitvoeren. U kunt binnen een paar minuten enkele tientallen grafieken genereren op basis van verschillende gegevenstransformaties. Dat maakt het vrij eenvoudig om uit het oog te verliezen wat je hebt gedaan en waarom.

Het is belangrijk om ervoor te zorgen dat u een geschreven verslag bijhoudt van wat u van plan bent. Grafieken moeten worden gelabeld met de naam (en versie) van de gegevens die zijn gebruikt om ze te maken. De statistische procedures die u bouwt, moeten worden opgeslagen en gedocumenteerd.

Het is ook belangrijk om een back-up van uw gegevensbestanden te maken. In de loop van uw analyse zult u waarschijnlijk verschillende versies van uw gegevens maken die verschillende correcties en transformatie van variabelen weerspiegelen. U moet de procedures opslaan die deze versies hebben gemaakt. Ze moeten ook worden gedocumenteerd op een manier die beschrijft welke transformaties u hebt aangebracht en waarom.

Documentatie is niet de favoriete taak van iemand, maar we spreken uit ervaring wanneer we u sterk aanmoedigen om niet te vertrouwen op uw geheugen als het gaat om uw analyseprojecten.

Door de stappen die hierboven zijn beschreven te doorlopen, maximaliseert u de betrouwbaarheid van uw statistische modellen. In veel gevallen is het voorbereidende werk eigenlijk meer tijdrovend dan het daadwerkelijke modelgebouw. Maar het is noodzakelijk. En je zult jezelf uiteindelijk bedanken voor het methodisch doorwerken.