De Beperkingen van de gegevens in Predictive Analytics - dummies

Video: SCP-1715 Online Friend | Euclid | Internet scp 2024

Zoals met vele aspecten van elk bedrijfssysteem, is data een menselijke creatie - dus het heeft de neiging om wat beperkingen te stellen aan de bruikbaarheid wanneer je voor het eerst bent verkrijg het. Hier volgt een overzicht van enkele beperkingen die u waarschijnlijk tegen zult komen:

De gegevens kunnen onvolledig zijn. Ontbrekende waarden, zelfs het ontbreken van een sectie of een substantieel deel van de gegevens, kunnen de bruikbaarheid beperken.

Uw gegevens kunnen bijvoorbeeld slechts betrekking hebben op een of twee voorwaarden van een grotere reeks die u probeert te modelleren - zoals wanneer een model dat is gebouwd om de prestaties van aandelenmarkten te analyseren, alleen gegevens heeft van de afgelopen 5 jaar, die beide scheeftrekken de gegevens en het model in de richting van de aanname van een bull-markt.

Op het moment dat de markt een correctie ondergaat die leidt tot een bearmarkt, kan het model niet worden aangepast - gewoon omdat het niet is getraind en getest met gegevens die een bearmarkt vertegenwoordigen.

Controleer of u een tijdschema bekijkt dat u een volledig beeld geeft van de natuurlijke fluctuaties van uw gegevens; uw gegevens mogen niet worden beperkt door seizoensgebondenheid .
Als u gegevens uit enquêtes gebruikt, moet u er rekening mee houden dat mensen niet altijd correcte informatie verstrekken. Niet iedereen zal naar waarheid antwoorden over (laten we zeggen) hoe vaak ze oefenen - of hoeveel alcoholische dranken ze consumeren - per week. Mensen zijn misschien niet zozeer oneerlijk als zelfbewust, maar de gegevens zijn nog steeds scheef.
Gegevens verzameld uit verschillende bronnen kunnen variëren in kwaliteit en indeling. Gegevens verzameld uit uiteenlopende bronnen zoals enquêtes, e-mails, formulieren voor gegevensinvoer en de bedrijfswebsite hebben verschillende kenmerken en structuren. Gegevens uit verschillende bronnen hebben mogelijk niet veel compatibiliteit tussen gegevensvelden. Dergelijke gegevens vereisen een grote voorverwerking voordat het gereed is voor analyse. De bijbehorende zijbalk biedt een voorbeeld.

Gegevens verzameld uit meerdere bronnen kunnen verschillen in opmaak, dubbele records en inconsistenties in samengevoegde gegevensvelden. Verwacht veel tijd te besteden aan het opschonen van dergelijke gegevens - en nog langer de betrouwbaarheid ervan te valideren.

Om de beperkingen van uw gegevens te bepalen, moet u het volgende doen:

Controleer alle variabelen die u in uw model zult gebruiken.
Beoordeel de reikwijdte van de gegevens, vooral in de loop van de tijd, zodat uw model de seizoensval kan voorkomen.
Controleer op ontbrekende waarden, identificeer ze en beoordeel hun impact op de algehele analyse.
Pas op voor extreme waarden (uitschieters) en beslis of ze in de analyse moeten worden opgenomen.
Bevestig dat de pool met training- en testgegevens groot genoeg is.
Zorg ervoor dat gegevenstype (gehele getallen, decimale waarden of tekens, enzovoort) correct is en stel de boven- en ondergrenzen van mogelijke waarden in.
Besteed extra aandacht aan gegevensintegratie wanneer uw gegevens afkomstig zijn van meerdere bronnen.

Zorg ervoor dat u uw gegevensbronnen en hun impact op de algehele kwaliteit van uw gegevens begrijpt.

Kies een relevante dataset die representatief is voor de hele populatie.
Kies de juiste parameters voor uw analyse.

Wees ook na al deze zorg en aandacht niet verbaasd als uw gegevens nog moeten worden voorverwerkt voordat u ze nauwkeurig kunt analyseren. Voorbewerking kost vaak veel tijd en moeite, omdat het verschillende problemen met betrekking tot de oorspronkelijke gegevens moet aanpakken. Deze problemen omvatten: