Data Mining for Big Data - dummies

Datamining omvat het verkennen en analyseren van grote hoeveelheden gegevens om patronen voor big data te vinden. De technieken kwamen uit het gebied van statistiek en kunstmatige intelligentie (AI), met een beetje databasebeheer in de mix gegooid.

Over het algemeen is het doel van de datamining classificatie of voorspelling. Bij classificatie is het de bedoeling om gegevens in groepen te sorteren. Een marketeer kan bijvoorbeeld geïnteresseerd zijn in de kenmerken van degenen die hebben gereageerd versus die niet op een promotie hebben gereageerd.

Dit zijn twee klassen. Bij voorspelling is het de bedoeling om de waarde van een continue variabele te voorspellen. Een marketeer kan bijvoorbeeld geïnteresseerd zijn in het voorspellen van degenen die zullen reageren op een promotie.

Typische algoritmen die worden gebruikt bij datamining zijn de volgende:

• Classificatiestructuren: Een populaire dataminingtechniek die wordt gebruikt om een ​​afhankelijke categoriale variabele te classificeren op basis van metingen van een of meer voorspellingsvariabelen. Het resultaat is een boom met knooppunten en koppelingen tussen de knooppunten die kunnen worden gelezen om zo-dan-regels te vormen.

• Logistische regressie: Een statistische techniek die een variant is van standaardregressie, maar het concept uitbreidt om te gaan met classificatie. Het produceert een formule die de waarschijnlijkheid van het voorkomen voorspelt als een functie van de onafhankelijke variabelen.

• Neurale netwerken: Een software-algoritme dat is gemodelleerd naar de parallelle architectuur van dierlijke hersenen. Het netwerk bestaat uit invoerknooppunten, verborgen lagen en uitvoerknooppunten. Elke eenheid krijgt een gewicht toegewezen. Gegevens worden aan het ingangsknooppunt gegeven en door een systeem van vallen en opstaan ​​stelt het algoritme de gewichten bij totdat het aan een bepaald stopcriterium voldoet. Sommige mensen hebben dit vergeleken met een black-box benadering.

• Clusteringstechnieken zoals K-nearest neighbors: Een techniek die groepen vergelijkbare records identificeert. De K-nearest neighbour techniek berekent de afstanden tussen de record en punten in de historische (trainings) data. Vervolgens wordt deze record toegewezen aan de klasse van de naaste buur in een gegevensset.

Hier is een voorbeeld van een classificatiestructuur. Overweeg de situatie waarin een telefoonbedrijf wil bepalen welke residentiële klanten waarschijnlijk hun service ontkoppelen.

Het telefoonbedrijf heeft informatie die bestaat uit de volgende kenmerken: hoe lang de persoon de service heeft gehad, hoeveel hij uitgeeft aan de service, of de service problematisch is geweest, of hij het beste belpakket heeft dat hij nodig heeft, waar hij leeft, hoe oud hij is, of hij andere gebundelde diensten heeft, informatie over andere plannen van vervoerders, en of hij nog steeds de service heeft.

Natuurlijk kun je veel meer attributen vinden dan dit. Het laatste attribuut is de uitkomstvariabele; dit is wat de software zal gebruiken om de klanten in te delen in een van de twee groepen - mogelijk blijvers en vluchtrisico's genoemd.

De gegevensset is onderverdeeld in trainingsgegevens en een testgegevensset. De trainingsgegevens bestaan ​​uit observaties (attributen genoemd) en een uitkomstvariabele (binair in het geval van een classificatiemodel) - in dit geval de blijvers of de vluchtrisico's.

Het algoritme wordt over de trainingsgegevens heen gehaald en komt met een boom die als een reeks regels kan worden gelezen. Als klanten bijvoorbeeld al meer dan tien jaar bij het bedrijf zijn en meer dan 55 jaar oud zijn, zullen ze waarschijnlijk net zo loyale klanten blijven.

Deze regels worden vervolgens over de testgegevensverzameling geleid om te bepalen hoe goed dit model is voor 'nieuwe gegevens'. "Nauwkeurigheidsmetingen zijn voorzien voor het model. Een populaire techniek is bijvoorbeeld de verwarringmatrix. Deze matrix is ​​een tabel met informatie over het aantal gevallen dat correct versus onjuist is geclassificeerd.

Als het model er goed uitziet, kan het worden ingezet op andere gegevens, omdat het beschikbaar is (dat wil zeggen, om nieuwe gevallen van vluchtrisico te voorspellen). Op basis van het model kan het bedrijf bijvoorbeeld besluiten speciale aanbiedingen te sturen naar die klanten waarvan zij denken dat het vluchtrisico's zijn.