Gebruik maken van Cross-Validation in Machine Learning - dummies

Soms vereist automatisch leren dat u een beroep moet doen op kruisvalidatie. Een merkbaar probleem met de splitsing van de trein / testset is dat je eigenlijk een vooroordeel introduceert in je testen, omdat je de grootte van je in-sample trainingsgegevens verkleint. Wanneer u uw gegevens splitst, houdt u mogelijk enkele nuttige voorbeelden uit de training. Bovendien zijn uw gegevens soms zo complex dat een testset, hoewel blijkbaar vergelijkbaar met de trainingsset, niet echt vergelijkbaar is, omdat combinaties van waarden verschillend zijn (wat typerend is voor zeer dimensionale gegevensreeksen).

Deze problemen dragen bij aan de instabiliteit van de steekproefresultaten als u niet veel voorbeelden hebt. Het risico dat uw gegevens op een ongunstige manier worden opgesplitst, verklaart ook waarom de train / test-split niet de favoriete oplossing is van machinaal beoefenaars wanneer u een machine-learningoplossing moet evalueren en afstemmen.

Cross-validatie op basis van k-vouwen is eigenlijk het antwoord. Het is afhankelijk van willekeurige splitsing, maar deze keer worden uw gegevens gesplitst in een aantal k-vouwen (gedeelten van uw gegevens) van gelijke grootte. Vervolgens wordt elke vouw beurtelings als testset gebruikt en worden de andere gebruikt voor training. Elke iteratie gebruikt een andere vouw als een test, die een foutenschatting oplevert.

Na het voltooien van de test op één vouw tegen de andere die als training worden gebruikt, wordt een opeenvolgende vouw, die verschilt van de vorige, in feite uitgesteld en de procedure herhaald om een ​​nieuwe schatting van de fouten te produceren.. Het proces gaat door totdat alle k-voudingen eenmaal als testset zijn gebruikt en u een k aantal foutschattingen hebt die u kunt berekenen in een gemiddelde foutschatting (de cross-validatiescore) en een standaardfout van de schattingen.

Een grafische weergave van hoe cross-validatie werkt.

Deze procedure biedt de volgende voordelen:

• Het werkt goed, ongeacht het aantal voorbeelden, want door het aantal gebruikte vouwen te verhogen, vergroot u eigenlijk de omvang van uw trainingsset (grotere k, grotere trainingsset, verminderde bias) en het verminderen van de grootte van de testset.
• Verschillen in verdeling voor individuele vouwen doen er niet zoveel toe. Wanneer een vouw een andere verdeling heeft dan de andere, wordt deze slechts eenmaal als testset gebruikt en tijdens de resterende tests als onderdeel van de trainingsset met anderen gemengd.
• U test eigenlijk alle waarnemingen, dus u test uw machine-leerhypothese volledig met behulp van alle gegevens die u hebt.
• Door het gemiddelde van de resultaten te nemen, kunt u een voorspellende prestatie verwachten. Bovendien kan de standaarddeviatie van de resultaten u vertellen hoeveel variatie u kunt verwachten in echte out-of-sample data. Hogere variaties in de cross-gevalideerde performances informeren u over uiterst gevarieerde data die het algoritme niet goed kan vangen.

Het gebruik van k-voudige kruisvalidatie is altijd de optimale keuze, tenzij de gegevens die u gebruikt een soort volgorde hebben die ertoe doet. Het kan bijvoorbeeld gaan om een ​​tijdreeks, zoals verkoop. In dat geval moet u geen willekeurige steekproefmethode gebruiken, maar in plaats daarvan vertrouwen op een trein / testsplitsing op basis van de oorspronkelijke reeks zodat de volgorde behouden blijft en u kunt testen op de laatste voorbeelden van die bestelde serie.