Uw gegevens voorbereiden op voorspellende analyses - dummies

Wanneer u de doelstellingen van het model hebt gedefinieerd, is de volgende stap in voorspellende analyse het identificeren en voorbereiden van de gegevens die u gebruikt om uw model te bouwen. De volgende informatie heeft betrekking op de belangrijkste activiteiten. De algemene reeks stappen ziet er als volgt uit:

1. Identificeer uw gegevensbronnen.

   Gegevens kunnen verschillende indelingen hebben of op verschillende locaties staan.

2. Bepaal hoe u toegang krijgt tot die gegevens.

   Soms moet u gegevens van derden of gegevens van een andere divisie in uw organisatie verzamelen, enzovoort.

3. Overweeg welke variabelen u in uw analyse wilt opnemen.

   Eén standaardaanpak is om te beginnen met een breed scala aan variabelen en diegene te elimineren die geen voorspellende waarde bieden voor het model.

4. Bepaal of afgeleide variabelen moeten worden gebruikt.

   In veel gevallen zou een afgeleide variabele (zoals de prijs-perverdienratio die wordt gebruikt om de aandelenkoersen te analyseren) een grotere directe impact hebben op het model dan de onbewerkte variabele.

5. Onderzoek de kwaliteit van uw gegevens en probeer zowel de staat als de beperkingen ervan te begrijpen.

   De nauwkeurigheid van de voorspellingen van het model houdt rechtstreeks verband met de variabelen die u selecteert en de kwaliteit van uw gegevens. U zou op dit moment enkele dataspecifieke vragen willen beantwoorden:

   • Zijn de gegevens compleet?
   • Heeft het uitschieters?
   • Moeten de gegevens worden gereinigd?
   • Moet u ontbrekende waarden invullen, deze behouden zoals ze zijn, of ze helemaal verwijderen?

Als u uw gegevens en de eigenschappen ervan begrijpt, kunt u het algoritme kiezen dat het handigst is bij het bouwen van uw model. Bijvoorbeeld:

• Regressie-algoritmen kunnen worden gebruikt om tijdreeksgegevens te analyseren.
• Classificatiealgoritmen kunnen worden gebruikt om afzonderlijke gegevens te analyseren.
• Associatie-algoritmen kunnen worden gebruikt voor gegevens met gecorreleerde kenmerken.

Individuele algoritmen en voorspellende technieken hebben verschillende zwakke punten en sterke punten. Het belangrijkste is dat de nauwkeurigheid van het model afhankelijk is van zowel een grote hoeveelheid als een hoge kwaliteit van de gegevens. Uw gegevens moeten een voldoende aantal records bevatten om statistisch zinvolle resultaten te bieden.

Het verzamelen van relevante gegevens (bij voorkeur veel records gedurende een lange periode), voorbewerking en het extraheren van de functies met de meeste voorspellende waarden, is waar u het grootste deel van uw tijd doorbrengt. Maar u moet het algoritme wel verstandig kiezen, een algoritme dat geschikt zou moeten zijn voor het zakelijke probleem.

Gegevensvoorbereiding is specifiek voor het project waaraan u werkt en het algoritme dat u wilt gebruiken.Afhankelijk van de vereisten van het project, bereidt u uw gegevens dienovereenkomstig voor en geeft u deze door aan het algoritme terwijl u uw model samenstelt om aan de bedrijfsbehoeften te voldoen.

De dataset die wordt gebruikt om het model te trainen en te testen, moet relevante bedrijfsinformatie bevatten om het probleem op te lossen dat u probeert op te lossen. Als het uw doel is (bijvoorbeeld) om te bepalen welke klant waarschijnlijk zal churnt, moet de dataset die u kiest informatie bevatten over klanten die in het verleden hebben gekarnd, naast klanten die dat niet hebben gedaan.

Sommige modellen die zijn gemaakt om gegevens te ontginnen en inzicht te krijgen in de onderliggende relaties - bijvoorbeeld die met clusteringalgoritmen zijn gebouwd - hoeven geen bepaald eindresultaat in gedachten te hebben.

Onderbouwen

Onderfixen is wanneer uw model geen relaties in uw gegevens kan detecteren. Dit is meestal een aanwijzing dat essentiële variabelen - die met voorspellende kracht - niet zijn opgenomen in uw analyse.

Als de variabelen die in uw model worden gebruikt geen hoog voorspellend vermogen hebben, probeer dan nieuwe domeinspecifieke variabelen toe te voegen en uw model opnieuw uit te voeren. Het einddoel is om de prestaties van het model op de trainingsgegevens te verbeteren.

Een andere kwestie om op te letten is seizoensgebondenheid (als u een seizoenspatroon hebt, kunt u problemen ondervinden als u meerdere seizoenen niet analyseert.) Een voorraadanalyse die alleen gegevens van een stier bevat markt (waar de algemene aandelenkoersen stijgen) geen rekening houdt met crises of bubbels die belangrijke correcties kunnen aanbrengen in de algehele prestatie van de voorraden. Als u geen gegevens opneemt die zowel de bear-markten als omvatten (als de algemene aandelenkoersen dalen), blijft het model niet de best mogelijke portfolioselectie produceren.

Overvol

Overvol is wanneer uw model gegevens bevat die geen voorspellende waarde hebben, maar die alleen specifiek is voor de gegevensset die u analyseert. Ruis - willekeurige variaties in de gegevensset - kunnen zijn weg vinden in het model, zodat het uitvoeren van het model op een andere gegevensreeks een grote daling in de voorspellende prestaties en nauwkeurigheid van het model veroorzaakt.