Fase 4 van het CRISP-DM-procesmodel: modelleren - dummies

Modelleren is het onderdeel van het proces voor cross-industriestandaardproces voor datamining (CRISP-DM) dat de meeste gegevens bevatten mijnwerkers als de beste. Uw gegevens zijn al in goede vorm en u kunt nu zoeken naar nuttige patronen in uw gegevens.

De modelleringsfase omvat vier taken. Dit zijn

• Modelleertechnieken selecteren

• Ontwerptest (en)

• Bouwmodel (len)

• Model (s) beoordelen

Taak: modelleringstechnieken selecteren

De wondere wereld van datamining biedt een hoop modelleringstechnieken, maar niet alle zullen aan uw behoeften voldoen. Beperk de lijst op basis van de soorten variabelen die hierbij zijn betrokken, de selectie van beschikbare technieken in uw hulpmiddelen en eventuele zakelijke overwegingen die voor u van belang zijn.

Bijvoorbeeld, veel organisaties geven de voorkeur aan methoden met uitvoer die gemakkelijk te interpreteren is, dus beslissingsbomen of logistische regressie kunnen acceptabel zijn, maar neurale netwerken worden waarschijnlijk niet geaccepteerd.

Tot de deliverables voor deze taak behoren twee rapporten:

• Modelleringstechniek: Specificeer de techniek (en) die u gaat gebruiken.

• Aannames bij het modelleren: Veel modelleertechnieken zijn gebaseerd op bepaalde aannames. Een modeltype kan bijvoorbeeld zijn bedoeld voor gebruik met gegevens met een specifiek type distributie. Documenteer deze aannames in dit rapport.

Statistici zijn goed geïnformeerd, streng en kieskeurig over aannames. Dat is niet noodzakelijk waar voor mijnwerkers en het is geen vereiste om een ​​dataminer te worden. Als u diepgaande statistische kennis hebt en de aannames achter de modellen die u selecteert begrijpt, kunt u streng en kieskeurig zijn over aannames.

Maar veel gegevensmijnen, vooral beginnende mijnwerkers, maken zich niet druk over aannames. Het alternatief is testen - heel veel testen - van uw modellen.

Taak: ontwerpen van tests

De test in deze taak is de test die u zult gebruiken om te bepalen hoe goed uw model werkt. Het kan zo simpel zijn als het splitsen van uw gegevens in een groep cases voor modeltraining en een andere groep voor het testen van modellen.

Trainingsgegevens worden gebruikt om wiskundige vormen aan te passen aan het gegevensmodel en testgegevens worden tijdens het modeltrainingproces gebruikt om overfitting te voorkomen: een model maken dat perfect is voor één gegevensset, maar geen ander. U kunt ook holdout-gegevens, gegevens die niet worden gebruikt tijdens het modeltrainingsproces, gebruiken voor een aanvullende test.

Het resultaat voor deze taak is uw testontwerp. Het hoeft niet uitgebreid te zijn, maar je moet er op zijn minst voor zorgen dat je trainings- en testgegevens vergelijkbaar zijn en dat je geen vertekening in de gegevens introduceert.

Taak: Bouwmodel (len)

Modelleren is wat veel mensen zich voorstellen als de hele klus van de dataminer, maar het is maar een taak van tientallen! Desondanks vormt modellering om specifieke bedrijfsdoelen aan te pakken de kern van het datamining-beroep.

Tot de deliverables voor deze taak behoren drie items:

• Parameterinstellingen: Bij het bouwen van modellen bieden de meeste hulpprogramma's de mogelijkheid om verschillende instellingen aan te passen, en deze instellingen hebben invloed op de structuur van het uiteindelijke model. Documenteer deze instellingen in een rapport.

• Modelbeschrijvingen: Beschrijf uw modellen. Vermeld het type model (zoals lineaire regressie of neuraal netwerk) en de gebruikte variabelen. Leg uit hoe het model wordt geïnterpreteerd. Document alle moeilijkheden die zich voordoen in het modelleringsproces.

• Modellen: Dit resultaat zijn de modellen zelf. Sommige modeltypes kunnen eenvoudig worden gedefinieerd met een eenvoudige vergelijking; andere zijn veel te complex en moeten in een meer geavanceerd formaat worden overgedragen.

Taak: model (len) beoordelen

Nu bekijkt u de modellen die u hebt gemaakt, zowel vanuit technisch oogpunt als vanuit zakelijk oogpunt (vaak met inbreng van bedrijfsexperts in uw projectteam).

Te leveren resultaten voor deze taak zijn twee rapporten:

• Modelbeoordeling: Geeft een overzicht van de informatie die is ontwikkeld in uw modelbeoordeling. Als u verschillende modellen hebt gemaakt, kunt u deze rangschikken op basis van uw beoordeling van de waarde voor een specifieke toepassing.

• Herziene parameterinstellingen: U kunt ervoor kiezen de instellingen aan te passen die zijn gebruikt om het model te bouwen en een andere modelleermethode uit te voeren en uw resultaten te verbeteren.

Datamining, zoals een ui, een Dobos-torte of een sedimentair gesteente, heeft veel lagen. Wanneer u net begint met datamining, kunt u beginnen met het achterlaten van de parameterinstellingen op hun standaardwaarden (in feite ziet u misschien zelfs geen opties tenzij u moeite doet om ze te zoeken).

Naarmate u zich meer op uw gemak voelt in uw nieuwe dataminingcarrière, is het logisch dat u meer te weten komt over modelparameters en weet hoe u ze kunt gebruiken. Uw opties zullen sterk variëren met het type model en de specifieke tool die u gebruikt.