Inhoudsopgave:
Video: De rol van Data Engineer 2024
Wanneer u gegevensmining uitvoert, heeft u soms meer gegevens dan u voor een bepaald project nodig hebt. Hier ziet u hoe u kunt terugvallen naar precies wat u nodig hebt.
De velden verkleinen
Als u veel variabelen in een gegevensset hebt, kan het moeilijk zijn om de variabelen te vinden of te bekijken die u interesseren. En als uw datasets groot zijn en u niet alle variabelen nodig heeft, zorgt het bijhouden van de extra's voor onnodige bronnen. Dus, je moet soms een aantal variabelen behouden en anderen laten vallen. De afbeelding toont een voorbeeld in het KNIME, waar het juiste gereedschap Kolomfilter wordt genoemd.
Een voorbeeld van een set-up voor dit hulpmiddel wordt getoond in de volgende afbeelding.
Zoek naar een variabel selectietool in uw dataminingtoepassing om de velden te verkleinen; deze worden gevonden met andere hulpmiddelen voor gegevensmanipulatie. Net als bij andere tools voor datamining, variëren de namen van product tot product. Zoek naar variaties op de woorden kolom, variabele, of veld, en selectie of filteren.
Relevante cases selecteren
Cases met onvolledige gegevens kunnen worden uitgefilterd voordat het model wordt gebouwd. Het verwijderen van onvolledige cases is een veelvoorkomend voorbeeld van gegevensselectie of filtering.
Maar hoe zou u alleen de relevante cases selecteren voor elk segment dat u interesseert? U zou een hulpmiddel voor gegevensselectie gebruiken.
De volgende afbeelding toont een hulpmiddel voor gegevensselectie in een andere toepassing voor datamining.
De volgende afbeelding laat zien hoe u die tool zou instellen voor een ander soort selectie, deze op basis van de waarde van een variabele.
Het is gebruikelijk om dit soort gegevensselectie te gebruiken, en sommige toepassingen bieden allerlei ingebouwde functies waarmee u precies de gewenste gevallen kunt definiëren. Deze heeft enkele uitzonderlijke kenmerken; het toont samenvattende statistieken voor de variabele en vertelt u precies hoeveel gevallen aan de selectiecriteria voldoen.
De meeste datamining-applicaties hebben tools voor het selecteren van alleen de cases die u nodig hebt. Zoek in de menu's (of zoek) naar selecteer of filter.
Sampling
Een populaire gedachte tegenwoordig is dat meer gegevens betere gegevens zijn. Dit is geen nieuw idee. Datamining-applicaties zijn altijd ontwikkeld om met grote hoeveelheden data te werken. Zelfs de naam "datamining" suggereert grote hoeveelheden. Maar vaak geeft het werken met een steekproef van uw gegevens u informatie die net zo nuttig is, uw werk eenvoudiger maakt en uw tijd en middelen spaart.
Sampling speelt een belangrijke rol bij datamining. Als de gegevens in balans zijn, betekent dit dat het model gelijke aantallen cases in elk van de vergeleken groepen heeft gebruikt (in dat voorbeeld waren de groepen eigenschappen die van eigenaar veranderden en eigenschappen die dat niet deden), ook al had één groep veel meer gevallen dan de andere in de originele gegevens.
Later werden de gegevens gesplitst, gescheiden in één subset om te gebruiken voor het trainen van een model en een andere voor testen. Het gebruik van slechts een steekproef van gegevens in een parallelle coördinatenplot kan het gemakkelijker maken om te bekijken en te interpreteren. (Scatterplots met duizenden punten kunnen onmogelijk te lezen zijn!) Misschien wel het allerbelangrijkste: samplen reduceert de hoeveelheid gegevens, dus dingen lopen sneller.
