Hoe u uw analytische voorspellingen nauwkeurig scoort - dummies

Wanneer u de kwaliteit van een voorspellingsmodel analyseert, wilt u de nauwkeurigheid ervan meten. Hoe nauwkeuriger een voorspelling van het model, des te nuttiger is het voor het bedrijf, wat een indicatie is voor de kwaliteit ervan. Dit is allemaal goed - behalve wanneer de voorspelde gebeurtenis zeldzaam is. In dergelijke gevallen kan de hoge nauwkeurigheid van het voorspellende model zinloos zijn.

Bijvoorbeeld als de kans dat een zeldzame gebeurtenis optreedt 5 procent is, een model dat simpelweg & ldquo; geen & rdquo; de hele tijd wanneer gevraagd of de zeldzame gebeurtenis heeft plaatsgevonden, 95 procent van de tijd goed zou zijn. Maar hoe nuttig zou zo'n model zijn?

Dus als uw bedrijf routinematig met zeldzame gebeurtenissen moet omgaan (als zoiets mogelijk is), vertrouw dan niet alleen op nauwkeurigheid als een maatstaf voor de betrouwbaarheid van uw model.

In een dergelijk geval kunt u de werkzaamheid en de kwaliteit van een voorspellend model evalueren in het licht van de waarschijnlijkheid dat de zeldzame gebeurtenis zal plaatsvinden. Een nuttige statistiek die u moet volgen, is om te specificeren welke soorten fouten u van het model kunt accepteren en welke niet.

Hier volgt een snel overzicht van andere manieren om uw model te evalueren:

• Controleer of de uitvoer van het model voldoet aan uw evaluatiecriteria.

• Bedenk een teststrategie zodat u uw model herhaaldelijk en consistent kunt testen.

• Meet hoe goed het model voldoet aan de bedrijfsdoelen waarvoor het is gebouwd.

• Beoordeel de risico's van het live inzetten van het model.

Help overfixen te ondermijnen. Houd er bij het bouwen van een voorspellend model rekening mee dat uw dataset slechts een steekproef is van de hele populatie. Er zullen altijd onbekende factoren zijn waar uw gegevens geen rekening mee kunnen houden, wat er ook gebeurt.

• Ga voorzichtig om met de analyse van uw voorspellingsmodel, te beginnen met deze snelle controlelijst:

• bereid uw gegevens zorgvuldig voor gebruik voor om uw model te trainen.

• Overweeg zorgvuldig uitbijters voordat u ze invoegt of uitsluit.

• Blijf waakzaam bij herhaald testen en evalueren.

• Controleer steekproefgegevens en testgegevens om weg te leiden van overfitting.

• Raadpleeg uw domeinkennisexperts vaak en op de juiste manier.