Hoe u gegevens opschoont voor voorspellende analyse - dummies

Voordat u een voorspellende analyse uitvoert, moet u ervoor zorgen dat de gegevens vrij zijn van vreemde dingen voordat u deze in uw model. Dit omvat het vinden en corrigeren van records die foutieve waarden bevatten en het proberen in te vullen van ontbrekende waarden. U moet ook beslissen of u dubbele records wilt opnemen (bijvoorbeeld twee klantaccounts).

Het algemene doel is om de integriteit te waarborgen van de informatie die u gebruikt om uw voorspellende model te bouwen. Besteed bijzondere aandacht aan de volledigheid, correctheid en tijdigheid van de gegevens.

Het is handig om beschrijvende statistieken (kwantitatieve kenmerken) voor verschillende velden te maken, zoals het berekenen van min en max, controle frequentieverdeling (hoe vaak iets voorkomt) en het verifiëren van de verwachte bereiken. Als u een regelmatige controle uitvoert, kunt u gegevens die buiten het verwachte bereik vallen markeren voor verder onderzoek. Alle records met gepensioneerden met geboortedata in de jaren 1990 kunnen volgens deze methode worden gemarkeerd.

Het is ook belangrijk dat u de informatie kruiscontroleert, zodat u zeker weet dat de gegevens kloppen. Voor een diepere analyse van de gegevenskenmerken en de identificatie van de relatie tussen gegevensrecords, kunt u gegevensprofilering gebruiken (analyseren van gegevensbeschikbaarheid en verzamelen van statistieken over de gegevenskwaliteit) en visualisatietools.

Ontbrekende gegevens kunnen te wijten zijn aan het feit dat bepaalde informatie niet is geregistreerd. In een dergelijk geval kunt u proberen zoveel mogelijk in te vullen; geschikte defaults kunnen eenvoudig worden toegevoegd om de lege velden van bepaalde velden te vullen.

Bijvoorbeeld, voor patiënten in een ziekenhuiskliniek waar het geslachtsveld een waarde mist, kan de toepassing het eenvoudig invullen als vrouw. Trouwens, voor elke man die werd opgenomen in een ziekenhuis met een ontbrekend record voor de zwangerschapstatus, kan dat record op dezelfde manier worden ingevuld als niet van toepassing.

Een ontbrekende postcode voor een adres kan worden afgeleid uit de straatnaam en de stad die in dat adres is opgegeven.

In de gevallen waarin de informatie onbekend is of niet kan worden afgeleid, moet u waarden anders gebruiken dan een lege ruimte om aan te geven dat de gegevens ontbreken zonder de juistheid van de analyse te beïnvloeden. Een spatie in de gegevens kan meerdere dingen betekenen, waarvan de meeste niet goed of nuttig zijn. Wanneer dat mogelijk is, zou je de aard van die spatie moeten specificeren door middel van een zinvolle plaatsvuller.

Net zoals het mogelijk is om een ​​roos in een maïsveld als onkruid te definiëren, kunnen uitbijters verschillende dingen betekenen voor verschillende analyses.Het komt vaak voor dat sommige modellen uitsluitend worden gebouwd om die uitschieters op te sporen en te markeren.

Fraudebestrijdingsmodellen en monitoring van criminele activiteiten zijn geïnteresseerd in die uitschieters, die in dergelijke gevallen aangeven dat er iets ongewenst gebeurt. Het is daarom aan te bevelen om de uitschieters in de dataset in dergelijke gevallen te behouden. Wanneer uitbijters echter als anomalieën binnen de gegevens worden beschouwd - en de analyses alleen scheeftrekken en tot foutieve resultaten leiden - verwijder ze dan uit uw gegevens.

Duplicatie in de gegevens kan ook nuttig of hinderlijk zijn; een deel ervan kan nodig zijn, kan een waarde aangeven en kan een juiste staat van de gegevens weergeven. Een record van een klant met meerdere accounts kan bijvoorbeeld worden weergegeven met meerdere items die (technisch, hoe dan ook) dubbel en repetitief zijn voor dezelfde records.

Op dezelfde manier, wanneer de dubbele records geen waarde toevoegen aan de analyse en niet noodzakelijk zijn, kan het verwijderen ervan van enorme waarde zijn. Dit geldt met name voor grote gegevenssets waarbij het verwijderen van dubbele records de complexiteit van de gegevens kan vereenvoudigen en de tijd die nodig is voor analyse, vermindert.

U kunt preventief voorkomen dat onjuiste gegevens uw systemen binnenkomen door een aantal specifieke procedures toe te passen:

• Instellingskwaliteitscontroles en gegevensvalidatie voor alle gegevens die worden verzameld.

• Laat uw klanten hun persoonlijke gegevens valideren en zelfcorrigeren.

• Geef uw klanten mogelijke en verwachte waarden om uit te kiezen.

• Voer regelmatig controles uit op de integriteit, consistentie en nauwkeurigheid van de gegevens.