Ontbrekende waarden in uw gegevens - dummies

Een van de meest voorkomende en meest rommelige gegevensproblemen waarmee wordt omgegaan, is het missen van gegevens. Bestanden kunnen onvolledig zijn omdat records zijn verwijderd of een opslagapparaat is opgevuld. Of bepaalde gegevensvelden bevatten mogelijk geen gegevens voor sommige records. De eerste van deze problemen kan worden vastgesteld door het aantal records voor bestanden te verifiëren. Het tweede probleem is moeilijker om mee om te gaan.

Kort gezegd: wanneer u een veld vindt met ontbrekende waarden, heeft u twee keuzes:

• Negeer het.

• Steek iets in het veld.

Het probleem negeren

In sommige gevallen kunt u eenvoudig een enkel veld vinden met een groot aantal ontbrekende waarden. Als dit het geval is, is het eenvoudig om het veld te negeren. Neem het niet op in uw analyse.

Een andere manier om het probleem te negeren, is het record negeren. Wis gewoon het record met de ontbrekende gegevens. Dit kan zinvol zijn als er slechts een paar schurken records zijn. Maar als er meerdere datavelden zijn met een groot aantal ontbrekende waarden, kan deze aanpak uw recordaantal doen krimpen tot een onaanvaardbaar niveau.

Nog iets om op te letten voordat je eenvoudigweg records verwijdert, is een teken van een patroon. Stel dat u een dataset met betrekking tot landelijke creditcardbalansen analyseert. Misschien vindt u heel veel records met $ 0. 00 saldi (misschien ongeveer de helft van de records). Dit is op zich geen indicatie van ontbrekende gegevens. Als alle records van bijvoorbeeld Californië echter $ 0 weergeven. 00 saldi, die een mogelijk probleem met ontbrekende waarden aangeven. En het is niet een die op een nuttige manier kan worden opgelost door alle records van de grootste staat in het land te verwijderen. In dit geval is dit waarschijnlijk een systeemprobleem en wordt aangegeven dat er een nieuw bestand moet worden gemaakt.

Over het algemeen is het verwijderen van records een eenvoudige maar niet ideale oplossing voor problemen met ontbrekende waarden. Als het probleem relatief klein is en er geen waarneembaar patroon is voor de weglatingen, dan is het misschien ok om de betreffende records te verwijderen en verder te gaan. Maar vaak is een meer elitaire benadering gerechtvaardigd.

De ontbrekende gegevens invullen

Het invullen van de ontbrekende gegevens komt neer op een gefundeerde schatting van wat er op dat gebied zou zijn gebeurd. Er zijn goede en slechte manieren om dit te doen. Een eenvoudige (maar slechte) benadering is om de ontbrekende waarden te vervangen door het gemiddelde van de niet-ontbrekende waarden. In niet-numerieke velden kunt u in de verleiding komen om de ontbrekende records met de meest voorkomende waarde in de andere records (de modus) in te vullen.

Deze benaderingen worden helaas nog steeds vaak gebruikt in sommige zakelijke toepassingen.Maar ze worden door statistici alom beschouwd als slechte ideeën. Om te beginnen is het hele punt van statistische analyse het vinden van gegevens die het ene resultaat van het andere onderscheiden. Door alle ontbrekende records met dezelfde waarde te vervangen, hebt u niets anders onderscheiden.

De meer elitaire benadering is om te proberen een manier te vinden om op een zinvolle manier te voorspellen welke waarde moet worden ingevuld voor elk record dat een waarde mist. Dit houdt in kijken naar de volledige records en proberen aanwijzingen te vinden over wat de ontbrekende waarde kan zijn.

Stel dat u een demografisch bestand analyseert om waarschijnlijke kopers van een van uw producten te voorspellen. In dat bestand heeft u onder andere informatie over de burgerlijke staat, het aantal kinderen en het aantal auto's. Om een ​​of andere reden ontbreekt het aantal autosvelden in een derde van de records.

Door de andere twee velden te analyseren - burgerlijke staat en aantal kinderen - kunt u enkele patronen ontdekken. Alleenstaande mensen hebben de neiging om één auto te hebben. Getrouwde mensen zonder kinderen hebben de neiging om twee auto's te hebben. Getrouwde mensen met meer dan één kind hebben mogelijk meer kans op drie auto's. Op deze manier kunt u de ontbrekende waarden gissen op een manier die de records daadwerkelijk differentieert. Meer over deze aanpak om te komen.

Er is een algemene term in statistieken en gegevensverwerking die verwijst naar twijfelachtige gegevens. De term luidruchtig wordt gebruikt om gegevens te beschrijven die onbetrouwbaar, beschadigd of anderszins minder dan onberispelijk zijn. Ontbrekende gegevens zijn slechts een voorbeeld hiervan. Een gedetailleerde beschrijving van technieken voor het opruimen van ruisgegevens in het algemeen valt buiten het bestek van dit boek. In feite is dit een actief onderzoeksgebied in de statistische theorie. Het feit dat alle ruis niet zo gemakkelijk te herkennen is als ontbrekende waarden, maakt het lastig om ermee om te gaan.