Het belang van clustering en classificatie in gegevenswetenschap - dummies

Het doel van clustering en classificatie-algoritmen is het begrijpen van en het extraheren van waarde uit grote sets gestructureerde en ongestructureerde gegevens. Als u met grote hoeveelheden ongestructureerde gegevens werkt, is het alleen zinvol om te proberen de gegevens te partitioneren in een of andere logische groepering voordat u probeert deze te analyseren.

Clustering en classificatie stellen u in staat om uw gegevens massaal te bekijken en vervolgens een aantal logische structuren te vormen op basis van wat u daar vindt voordat u dieper in de 'nuts-and-bolts'-analyse gaat.

In hun eenvoudigste vorm zijn clusters verzamelingen gegevenspunten met dezelfde kenmerken en clusteringalgoritmen zijn de methoden die deze gegevenspunten groeperen in verschillende clusters op basis van hun overeenkomsten. U ziet clusteringalgoritmen die worden gebruikt voor ziekteclassificatie in de medische wetenschap, maar u zult ze ook zien worden gebruikt voor klantclassificatie in marketingonderzoek en voor milieurisicobeoordeling van risico's in milieutechniek.

Er zijn verschillende clusteringmethoden, afhankelijk van hoe u uw dataset wilt delen. De twee belangrijkste typen clusteringalgoritmen zijn

• Hiërarchisch: Algoritmen maken afzonderlijke sets geneste clusters, elk op hun eigen hiërarchische niveau.

• Partitioneel: Algoritmen maken slechts één set clusters.

U kunt alleen hiërarchische clusteringalgoritmen gebruiken als u de scheidingsafstand tussen de gegevenspunten in uw gegevensset al kent. Het algoritme met de k-dichtstbijzijnde neighbor dat in dit hoofdstuk wordt beschreven, behoort tot de hiërarchische klasse van clusteralgoritmen.

Je hebt misschien gehoord van classificatie en vond dat classificatie hetzelfde is als clusteren. Veel mensen doen dit, maar dit is niet het geval. In de classificatie, voordat u begint, kent u al het aantal klassen waarin uw gegevens moeten worden gegroepeerd en u weet al welke klasse u wilt dat elk gegevenspunt moet worden toegewezen. Bij classificatie worden de gegevens in de dataset waarvan wordt geleerd, gelabeld.

Wanneer u echter algoritmen voor clustering gebruikt, heeft u aan de andere kant geen vooraf gedefinieerd concept voor hoeveel clusters geschikt zijn voor uw gegevens en vertrouwt u op de clusteringalgoritmen om de gegevens op de meest geschikte manier te sorteren en te clusteren. Met clusteringtechnieken leert u van niet-gelabelde gegevens.

Om de aard van de classificatie beter te illustreren, bekijkt u Twitter en het hash-tagging-systeem.Stel dat je gewoon je favoriete drankje in de hele wereld hebt gekregen: een ijskoude caramel latte van Starbucks. Je bent zo blij om je drankje te drinken dat je besluit erover te tweeten met een foto en de zin "Dit is de beste latte OOIT! #StarbucksRocks. "Natuurlijk, je neemt" #StarbucksRocks "in je tweet op zodat de tweet de #StarbucksRocks-stream binnengaat en wordt geclassificeerd samen met alle andere tweets die zijn gelabeld als #StarbucksRocks. Uw gebruik van het hashtag-label in uw tweet vertelde Twitter hoe u uw gegevens classificeerde in een herkenbare en toegankelijke groep, of cluster .