Classificatie Algorithms gebruikt in Data Science - dummies

Met classificatiealgoritmen neemt u een bestaande gegevensset en gebruik wat u erover weet om een ​​voorspellend model te genereren voor gebruik bij de classificatie van toekomstige gegevenspunten. Als het uw doel is om uw gegevensset en de bekende subsets ervan te gebruiken om een ​​model te bouwen voor het voorspellen van de categorisering van toekomstige gegevenspunten, wilt u classificatie-algoritmen gebruiken.

Wanneer u gecontroleerde classificatie implementeert, moet u de subsets van uw gegevens al kennen. Deze subsets worden categorieën genoemd. Classificatie helpt u te zien hoe goed uw gegevens in de vooraf gedefinieerde categorieën van de gegevensset passen, zodat u vervolgens een voorspellend model kunt bouwen voor gebruik bij het classificeren van toekomstige gegevenspunten.

De figuur illustreert hoe het eruit ziet om de gegevensreeksen van inkomsten en onderwijs van de Wereldbank te classificeren volgens de categorie Continent.

U kunt zien dat in sommige gevallen de subsets die u mogelijk met een clusteringtechniek identificeert, overeenkomen met de categorie continenten, maar in andere gevallen niet. Kijk bijvoorbeeld naar het ene Aziatische land in het midden van de Afrikaanse gegevenspunten. Dat is Bhutan. U zou de gegevens in deze gegevensreeks kunnen gebruiken om een ​​model te bouwen dat een continentcategorie zou voorspellen voor inkomende gegevenspunten.

Maar als u een gegevenspunt voor een nieuw land heeft ingevoerd met statistieken die vergelijkbaar zijn met die van Bhutan, dan kan het nieuwe land worden ingedeeld als onderdeel van het Aziatische continent of het Afrikaanse continent, afhankelijk over hoe u uw model definieert.

Stel je nu een situatie voor waarin je oorspronkelijke gegevens Bhutan niet bevatten, en je gebruikt het model om het continent van Bhutan te voorspellen als een nieuw gegevenspunt. In dit scenario zou het model ten onrechte voorspellen dat Bhutan deel uitmaakt van het Afrikaanse continent.

Dit is een voorbeeld van modeloverpassing - situaties waarin een model zo strak past bij zijn onderliggende dataset, evenals de ruis of willekeurige fout inherent aan die dataset, dat het model slecht presteert als voorspeller voor nieuwe gegevenspunten.

Splits uw gegevens op in een trainingsset en een testset om te voorkomen dat uw modellen te veel worden aangepast. Een typische verhouding is om 80 procent van de gegevens toe te wijzen aan de trainingsset en de resterende 20 procent aan de testset. Bouw uw model met de trainingsset en gebruik vervolgens de testset om het model te evalueren door te doen alsof de testsetgegevens niet bekend zijn. U kunt de nauwkeurigheid van uw model evalueren door de categorieën die aan deze testset-gegevenspunten zijn toegewezen, te vergelijken met het model in de ware categorieën.

Modeloveralgalisatie kan ook een probleem zijn. Overgeneralisatie is het tegenovergestelde van overfitteren: het gebeurt wanneer een gegevenswetenschapper probeert te vermijden - verbijstering vanwege overfitte door een model extreem algemeen te maken. Te algemene modellen zorgen ervoor dat elke categorie een laag vertrouwen krijgt.

Om de overgeneralisatie van het model te illustreren, kunt u opnieuw de datasets van de Wereldbank Inkomen en Onderwijs bekijken. Als het model de aanwezigheid van Bhutan gebruikte om twijfel te zaaien over elk nieuw datapunt in de nabije omgeving, dan eindig je met een slordig model dat alle nabijgelegen punten behandelt als Afrikaans, maar met een lage waarschijnlijkheid. Dit model zou een slechte voorspellende artiest zijn.

Een goede metafoor voor overfitteren en overgeneralisatie kan worden geïllustreerd door de bekende uitdrukking: "Als het loopt als een eend en praat als een eend, dan is het een eend. "Overfitting zou deze zin veranderen in:" Het is een eend als, en alleen als, het loopt en kwaakt precies op de manier waarop ik persoonlijk een eend heb waargenomen om te wandelen en te kwaken. Omdat ik nooit heb gezien hoe een Australische gevlekte eend loopt en kwaakt, moet een Australische gevlekte eend eigenlijk helemaal geen eend zijn. "

In tegenstelling hiermee zou overgeneralisatie zeggen:" Als het op twee poten beweegt en een hoog, nasaal geluid uitzendt, is het een eend. Daarom moet Fran Fine, het karakter van Fran Drescher in de Amerikaanse sitcom The Nanny een eend zijn. "

Bewaakt machine learning - de mooie term voor classificatie - is geschikt in situaties waar de volgende kenmerken waar zijn:

• U kent en begrijpt de dataset die u aan het analyseren bent.

• De subsets (categorieën) van uw gegevensset zijn van tevoren gedefinieerd en worden niet bepaald door de gegevens.

• U wilt een model bouwen dat de gegevens binnen de vooraf gedefinieerde categorieën correleert, zodat het model kan helpen bij het voorspellen van de categorisering van toekomstige gegevenspunten.

Houd bij het uitvoeren van de classificatie rekening met het volgende:

• Modelvoorspellingen zijn slechts zo goed als de onderliggende gegevens van het model. In het gegevensvoorbeeld van de Wereldbank kan het voorkomen dat, als andere factoren zoals de levensverwachting of het energieverbruik per hoofd van de bevolking aan het model worden toegevoegd, de voorspellende kracht ervan zou kunnen toenemen.

• Modelvoorspellingen zijn slechts zo goed als de categorisatie van de onderliggende gegevensset. Wat doe je bijvoorbeeld met landen als Rusland die twee continenten beslaan? Onderscheid je Noord-Afrika van sub-Sahara Afrika? Snapt u Noord-Amerika in Europa omdat ze dezelfde kenmerken delen? Beschouw je Midden-Amerika als onderdeel van Noord-Amerika of Zuid-Amerika?

Er bestaat voortdurend gevaar voor overfitting en overgeneralisatie. Een gelukkig medium moet tussen beide worden gevonden.