Huis Persoonlijke financiën Trainen, valideren en testen van machine learning - dummies

Trainen, valideren en testen van machine learning - dummies

Video: Train, Test, & Validation Sets explained 2024

Video: Train, Test, & Validation Sets explained 2024
Anonim

In een perfecte wereld zou u een test kunnen uitvoeren op gegevens die uw machine-learningalgoritme nooit eerder heeft geleerd. Wachten op nieuwe gegevens is echter niet altijd haalbaar in termen van tijd en kosten.

Als eerste eenvoudige oplossing kunt u uw gegevens willekeurig splitsen in trainings- en testsets. De algemene verdeling is van 25 tot 30 procent voor testen en de resterende 75 tot 70 procent voor training. U splitst uw gegevens die bestaan ​​uit uw antwoord en functies tegelijkertijd, waarbij u de correspondentie tussen elk antwoord en de bijbehorende functies bijhoudt.

De tweede remedie treedt op wanneer u uw leeralgoritme moet afstemmen. In dit geval is het testen van gesplitste gegevens geen goede gewoonte, omdat het een ander soort van overcompacte snooping veroorzaakt. Om snooping te voorkomen, heb je een derde split nodig, een validatieset genaamd. Een gesplitste keuze is om uw voorbeelden in drie te delen: 70 procent voor training, 20 procent voor validatie en 10 procent voor testen.

U dient de splitsing willekeurig uit te voeren, dat wil zeggen onafhankelijk van de initiële ordening van de gegevens. Anders zal uw test niet betrouwbaar zijn, omdat het bestellen overschatting zou kunnen veroorzaken (wanneer er een zinvolle volgorde is) of onderschatting (wanneer de distributie te veel verschilt). Als oplossing moet u ervoor zorgen dat de testverzamelingsdistributie niet erg verschilt van de trainingsdistributie en dat sequentiële ordening plaatsvindt in de gesplitste gegevens.

Controleer bijvoorbeeld of identificatienummers, indien beschikbaar, doorlopend zijn in uw sets. Soms, zelfs als u zich strikt houdt aan willekeurige steekproeven, kunt u niet altijd vergelijkbare verdelingen tussen sets verkrijgen, vooral als uw aantal voorbeelden klein is.

Wanneer uw aantal voorbeelden n hoog is, zoals n> 10, 000, kunt u vrij zeker een willekeurig gesplitste gegevensset maken. Als de gegevensset kleiner is, kunt u door vergelijking van basisstatistieken zoals gemiddelde, modus, mediaan en variantie over het antwoord en functies in de trainings- en testsets, beter begrijpen of de testset niet geschikt is. Wanneer u niet zeker weet of de splitsing klopt, berekent u gewoon een nieuwe.

Trainen, valideren en testen van machine learning - dummies

Bewerkers keuze

Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies

Hoe u uw LinkedIn-profiel kunt vermarkten voor de markt - dummies

Wanneer het komt om het voordeel dat u van LinkedIn krijgt te maximaliseren, bent u uw grootste pleitbezorger. Hoewel je netwerk van connecties je helpt te groeien, gebeurt veel van je marketing zonder dat je erbij betrokken bent. Nadat je je profiel hebt aangemaakt, worden die en andere LinkedIn-activiteit van je gelezen en beoordeeld door de ...

Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies

Hoe u uw LinkedIn-netwerk kunt bouwen voordat u naar een nieuwe stad gaat - dummies

Deze dagen, wanneer u naar een nieuwe stad moet verhuizen, kunt u er veel plannen voor maken op LinkedIn en op internet. Je kunt de buurten onderzoeken, de schoolsystemen bekijken en online naar huizen gaan. Je kunt een stap verder gaan als je van plan bent om naar een andere ...

Hoe u uw LinkedIn-contactinstellingen controleert - dummies

Hoe u uw LinkedIn-contactinstellingen controleert - dummies

U zeker wilt dat u de juiste instellingen selecteert contactinstellingen voor uw LinkedIn-profiel. Als u bijvoorbeeld op zoek bent naar een nieuwe baan, wilt u er zeker van zijn dat de optie voor Carrièremogelijkheden is gecontroleerd. Wanneer u klaar bent om uw contactinstellingen te controleren, volgt u deze stappen: Ga naar ...

Bewerkers keuze

Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies

Canon EOS Rebel XS / 1000D voor Dummy's Cheat Sheet - dummies

Uw Canon EOS Rebel XS / 1000D heeft alle functies die u kunt gebruiken om fantastische foto's te maken. Je moet de beeldmodus instellen op het onderwerp van je foto en de Canon EOS Rebel XS / 1000D laat je volledig of gedeeltelijk automatisch gaan met de belichtingsinstellingen.

Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies

Canon Rebel T3-serie camera's: Live-modus Autofocus in Live View - dummies

Live-modus Met autofocus kunt u de focus instellen op uw Canon EOS Rebel T3 of T3i zonder tijdelijk het voorbeeld van de monitor te verliezen. Bovendien, in plaats van het selecteren van negen autofocuspunten, verplaatst u eenvoudig een enkel scherpstelpunt over uw onderwerp. Aan de andere kant is de autofocus van de Live-modus merkbaar langzamer dan in de Quick-modus, en ...

Bewerkers keuze

Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies

Wijzigt Hoe tekstgrootte te wijzigen in Word 2016 - dummies

Tekstgrootte wordt ingesteld in uw Word 2016 document gebaseerd over de meting van de oude letterzetter, ook wel punten genoemd. Hier zijn enkele aandachtspunten waarmee u rekening moet houden bij het opmaken van tekst in Word: hoe groter de puntgrootte, hoe groter de tekst. De meeste gedrukte tekst is 10 of 12 punten lang. Koppen zijn meestal 14 ...

Grammatica controleren in Word 2007 - dummies

Grammatica controleren in Word 2007 - dummies

Naast het controleren op correcte spelling, kunt u met Word 2007 ook om uw documenten te bewijzen om grammaticale fouten te voorkomen. U kunt de grammaticasuggesties van Word bekijken terwijl u door het document bladert, of u kunt een traditionele spellingcontrole uitvoeren. Word biedt u zelfs de kans om de gemarkeerde fout te onderzoeken en meer te leren van ...

Spelling controleren terwijl u typt in Word 2013 - dummies

Spelling controleren terwijl u typt in Word 2013 - dummies

Woord 2013 heeft een interne bibliotheek vol met ontelbare woorden, allemaal correct gespeld. Telkens wanneer u een woord typt, wordt het vergeleken met dat woordenboek. Wanneer het woord niet wordt gevonden, wordt dit als verdacht gemarkeerd in uw document. Het merk is een rode zigzaglijn. Mijn advies: blijf typen. Laat de "rode zigzag van een ...