Fase 2 van het CRISP-DM-procesmodel: gegevensbegrip - dummies

In de tweede fase van het procesmodel Cross-Industry Standard Process for Data Mining (CRISP-DM) verkrijgt u gegevens en verifieert u dat het geschikt is voor uw behoeften. U kunt problemen identificeren die ervoor zorgen dat u teruggaat naar zakelijk inzicht en uw plan herziet. U kunt zelfs fouten ontdekken in uw bedrijfsbegrip, een andere reden om doelen en plannen opnieuw te bekijken.

De fase gegevensverwerking omvat vier taken . Dit zijn

• Gegevens verzamelen

• Gegevens beschrijven

• Gegevens verkennen

• Gegevenskwaliteit controleren

Taak: gegevens verzamelen

U hebt zojuist doelen gedefinieerd en een gegevensmijnplan gedefinieerd. Elke stap van het plan hangt af van de juiste gegevens. Zorg ervoor dat je echt die gegevens hebt!

Er is slechts één deliverable beschikbaar voor deze taak: het initiële rapport voor gegevensverzameling. In uw rapport moet u verifiëren dat u de gegevens hebt verkregen of ten minste toegang hebt verkregen tot de gegevens, het toegangsproces voor gegevens hebt getest en hebt gecontroleerd of de gegevens bestaan. U moet ook gegevens laden in alle tools die u gaat gebruiken voor datamining om te controleren of de tools compatibel zijn met de gegevens.

U kunt veel werk verzetten om de gegevens samen te stellen die u nodig hebt voordat u dit rapport kunt schrijven. Eerst maak je je planning als volgt:

• Vereisten voor outlinedata: Maak een lijst met de soorten data die nodig zijn om de datamining-doelen aan te pakken. Vouw de lijst uit met details zoals het vereiste tijdbereik en gegevensformaten.

• Controleer de beschikbaarheid van gegevens: Controleer of de vereiste gegevens aanwezig zijn en of u deze kunt gebruiken. Als sommige van de gegevens die u zoekt niet beschikbaar zijn, bepaalt u hoe u dit probleem aanpakt. Overweeg alternatieven zoals

  • Substitueren met een alternatieve gegevensbron

  • De reikwijdte van het project verkleinen

  • Nieuwe gegevens verzamelen

• Definieer selectiecriteria: Identificeer de specifieke gegevensbronnen (databases, bestanden, documenten, enzovoort.) die u zult gebruiken. Geef binnen deze bronnen de tabellen, velden en casusbereiken op die relevant zijn voor dit project.

Nadat u deze stappen hebt doorlopen, moet u de gegevens daadwerkelijk verkrijgen. Importeer de gegevens in dit stadium in het dataminingplatform dat u voor het project gaat gebruiken om te bevestigen dat dit mogelijk is en dat u het proces begrijpt. In de loop van deze proef kunt u software- (of hardware) beperkingen ontdekken die u niet verwacht had, zoals

• Beperkingen op het aantal gevallen of velden, of op de hoeveelheid geheugen die u kunt gebruiken

• Onmogelijkheid om de gegevensformaten van uw bronnen

• Problemen met onvolkomenheden in de gegevens (bijvoorbeeld kunt u producten tegenkomen die onvolledige gegevenssets niet importeren of analyseren)

Vat ten slotte het verzamelproces samen in een rapport.Het rapport moet uw vereisten beschrijven en in enig detail precies uitleggen welke gegevens u hebt verzameld en uit welke bronnen. Hier bevestigt u dat u de gegevens daadwerkelijk hebt verkregen en dat deze compatibel zijn met uw dataminingplatform. Als u in moeilijkheden bent geraakt, legt u uit wat ze waren en hoe u ze hebt aangepakt (met behulp van alternatieve bronnen, plannen herzien, formaten wijzigen).

Het resultaat voor deze taak is slechts een eenvoudig rapport, maar het werk dat u moet doen voordat u dat rapport kunt schrijven, is niet eenvoudig! Datatoegang kan een van de meest uitdagende en frustrerende onderdelen zijn van het dataminingproces, waar technische en zakelijke uitdagingen liggen.

Taak: gegevens beschrijven

Maak nu een algemene beschrijving van wat u hebt, nu u over gegevens beschikt.

Het resultaat voor deze taak is het gegevensbeschrijvingsrapport. Hierin beschrijft u de bron en de indelingen van de gegevens, het aantal gevallen, het aantal en de beschrijvingen van de velden en eventuele andere algemene informatie die belangrijk kan zijn. U maakt ook een korte evaluatie van de geschiktheid van de gegevens voor uw dataminingdoelen. Controleer bijvoorbeeld of de gegevens de velden bevatten die u verwacht en daar nodig hebt en voldoende cases voor analyse.

Taak: Gegevens verkennen

In deze taak onderzoekt u de gegevens nauwkeuriger. Voor elke variabele kijkt u naar het bereik van waarden en hun distributies. U gebruikt eenvoudige gegevensmanipulatie en elementaire statistische technieken voor verdere controles van de gegevens. Gegevensverkenning ondersteunt verschillende doelen:

• Raak vertrouwd met de gegevens.

• Spot tekenen van problemen met de gegevenskwaliteit.

• Stel de fase in voor stappen voor gegevensvoorbereiding.

Het resultaat voor deze taak is het gegevensverkenningsrapport. Het is de plek om eventuele hypothesen of eerste bevindingen die je tijdens dataverkenning hebt ontwikkeld te documenteren. Dit rapport moet een meer gedetailleerde beschrijving van de gegevens bevatten dan het gegevensbeschrijvingsrapport, inclusief distributies, samenvattingen en tekenen van problemen met de gegevenskwaliteit.

Taak: gegevenskwaliteit controleren

U hebt de gegevens en u hebt deze gecontroleerd en nu moet u bepalen of deze goed genoeg is om uw doelen te ondersteunen. Je zult vaak wat kwaliteitsproblemen hebben om aan te pakken maar toch in staat zijn om vooruit te komen, maar soms is de gegevenskwaliteit zo slecht dat het je plan niet kan ondersteunen en moet je op zoek naar alternatieven. Enkele van de ergste gegevensproblemen zijn

• De gegevens die u nodig hebt, bestaan ​​niet. (Bestond het nooit of werd het weggegooid? Kunnen deze gegevens worden verzameld en opgeslagen voor toekomstig gebruik?)

• Het bestaat, maar u kunt het niet hebben. (Kan deze beperking worden overwonnen?)

• U vindt ernstige problemen met de gegevenskwaliteit (veel ontbrekende of onjuiste waarden die niet kunnen worden gecorrigeerd).

Het resultaat voor deze taak is het rapport over gegevenskwaliteit. Dit vat de gegevens samen die u hebt, de kleine en belangrijke kwaliteitsproblemen die u hebt gevonden, en mogelijke oplossingen voor kwaliteitsproblemen of alternatieven (zoals het gebruik van een alternatieve gegevensbron).Als u met ernstige problemen op het gebied van gegevenskwaliteit wordt geconfronteerd en u geen adequate oplossing kunt vinden, moet u misschien aanbevelen om doelen of plannen opnieuw te bekijken.