De Big Data Paradox - dummies

Je zult een nuance vinden over big data-analyse. Het gaat echt om kleine gegevens. Hoewel dit misschien verwarrend lijkt en tegen het hele uitgangspunt indruist, zijn kleine gegevens het product van big data-analyse. Dit is geen nieuw concept en het is ook niet onbekend voor mensen die al geruime tijd gegevensanalyse uitvoeren. De totale werkruimte is groter, maar de antwoorden liggen ergens in de "kleine". "

Traditionele gegevensanalyse begon met databases die waren gevuld met klantinformatie, productinformatie, transacties, telemetriegegevens enzovoort. Zelfs toen waren er te veel gegevens beschikbaar om efficiënt te analyseren. Systemen, netwerken en software beschikten niet over de prestaties of capaciteit om de schaal aan te pakken. Als een industrie werden de tekortkomingen aangepakt door het creëren van kleinere datasets.

Deze kleinere gegevensverzamelingen waren nog redelijk inhoudelijk, andere tekortkomingen werden snel ontdekt; de meest in het oog springende was de mismatch tussen de gegevens en de werkcontext. Als u in crediteurenadministratie werkte, moest u een grote hoeveelheid niet-gerelateerde gegevens bekijken om uw taak uit te voeren. Opnieuw reageerde de industrie door kleinere, contextueel relevante gegevenssets te maken - groot tot klein of kleiner nog steeds.

U herkent dit mogelijk als de migratie van databases naar datawarehouses naar datamarts. Vaker wel dan niet werden de gegevens voor de magazijnen en de marts gekozen op basis van willekeurige of experimentele parameters, wat resulteerde in veel vallen en opstaan. Bedrijven kregen niet de perspectieven die ze nodig hadden of mogelijk waren omdat de capaciteitsverminderingen niet gebaseerd waren op een rekenfeit.

Voer big data in, met al zijn volumes, snelheden en variëteiten, en het probleem blijft of slechter. De tekortkomingen van de infrastructuur zijn aangepakt en kunnen enorme hoeveelheden aanvullende gegevens opslaan en verwerken, maar er zijn met name nieuwe technologieën nodig om big data te beheren.

Ondanks de uiterlijke schijn is dit een prachtig iets. Vandaag en in de toekomst zullen bedrijven meer gegevens hebben dan ze zich kunnen voorstellen en ze zullen de middelen hebben om het vast te leggen en te beheren. Wat meer dan ooit nodig is, is de mogelijkheid om de juiste gegevens tijdig genoeg te analyseren om beslissingen te nemen en acties te ondernemen.

Bedrijven zullen de datasets nog steeds verkleinen tot "fighting trim", maar ze kunnen dit op een computationele manier doen. Ze verwerken de big data en veranderen deze in kleine gegevens, zodat deze gemakkelijker te begrijpen zijn. Het is nauwkeuriger en omdat het is afgeleid van een veel groter startpunt, is het meer contextueel relevant.