Gegevensbeheer voor Big Data - dummies

Zijn big data echt nieuw of is het een evolutie in de datamanagementreis? Het is eigenlijk allebei. Zoals met andere golven in databeheer, worden big data gebouwd bovenop de evolutie van datamanagementpraktijken in de afgelopen vijf decennia. Wat nieuw is, is dat voor het eerst de kosten van computercycli en opslag een omslagpunt hebben bereikt. Waarom is dit belangrijk?

Slechts enkele jaren geleden zouden organisaties meestal een compromis sluiten door momentopnamen of subsets met belangrijke informatie op te slaan, omdat de kosten van opslag- en verwerkingsbeperkingen hen niet in staat stelden alles op te slaan wat ze wilden analyseren.

In veel situaties werkte dit compromis prima. Een productiebedrijf heeft bijvoorbeeld elke twee minuten machinegegevens verzameld om de gezondheid van systemen te bepalen. Er kunnen echter situaties zijn waarin de momentopname geen informatie over een nieuw type defect zou bevatten en die maandenlang onopgemerkt zou kunnen blijven.

Met big data is het nu mogelijk om gegevens te virtualiseren, zodat deze efficiënter kunnen worden opgeslagen en, op basis van cloudgebaseerde opslag, ook kosteneffectiever. Bovendien hebben verbeteringen in netwerksnelheid en betrouwbaarheid andere fysieke beperkingen weggenomen om enorme hoeveelheden gegevens in een acceptabel tempo te kunnen beheren.

Voeg hier de impact van veranderingen in de prijs en verfijning van het computergeheugen aan toe. Met al deze technologie-overgangen is het nu mogelijk om manieren te bedenken waarop bedrijven gegevens kunnen gebruiken die slechts vijf jaar geleden ondenkbaar waren.

Maar geen technologie-overgang gebeurt geïsoleerd; het gebeurt wanneer er een belangrijke behoefte bestaat die kan worden vervuld door de beschikbaarheid en rijping van technologie. Veel van de technologieën die ten grondslag liggen aan big data, zoals virtualisatie, parallelle verwerking, gedistribueerde bestandssystemen en in-memory-databases, bestaan ​​al tientallen jaren.

Geavanceerde analyses zijn er ook al tientallen jaren, hoewel ze niet altijd praktisch zijn geweest. Andere technologieën zoals Hadoop en MapReduce zijn al een paar jaar ter plaatse. Deze combinatie van technologische vooruitgang kan nu belangrijke bedrijfsproblemen aanpakken. Bedrijven willen op de juiste snelheid inzichten en bruikbare resultaten van veel verschillende soorten gegevens kunnen verkrijgen.

Als bedrijven petabytes aan gegevens kunnen analyseren (gelijk aan 20 miljoen archiefvakken met vier laden gevuld met tekstbestanden of 13. 3 jaar HDTV-inhoud) met acceptabele prestaties om patronen en anomalieën te onderscheiden, kunnen bedrijven beginnen te begrijpen wat data zijn op nieuwe manieren.De overstap naar big data gaat niet alleen over bedrijven.

De activiteiten op het gebied van wetenschap, onderzoek en overheid hebben ook bijgedragen aan de verdere ontwikkeling ervan. Denk maar aan het analyseren van het menselijk genoom of het omgaan met alle astronomische gegevens verzameld op observatoria om ons begrip van de wereld om ons heen te bevorderen. Overweeg ook de hoeveelheid gegevens die de overheid verzamelt in haar antiterreuractiviteiten, en je krijgt het idee dat big data niet alleen over zaken gaat.

Er bestaan ​​verschillende benaderingen voor het verwerken van gegevens. Gegevens in beweging zouden worden gebruikt als een bedrijf in staat is om de kwaliteit van zijn producten tijdens het productieproces te analyseren om kostbare fouten te voorkomen. In ruste gegevens worden door een bedrijfsanalist gebruikt om de huidige kooppatronen van klanten beter te begrijpen op basis van alle aspecten van de klantrelatie, waaronder verkoop, gegevens van sociale media en interacties met de klantenservice.

Houd in gedachten dat bedrijven zich nog in een vroeg stadium bevinden van het gebruik van enorme hoeveelheden gegevens om een ​​360-gradenbeeld van het bedrijf te krijgen en anticiperen op verschuivingen en veranderingen in de verwachtingen van klanten. De technologieën die nodig zijn om de antwoorden te krijgen die het bedrijf nodig heeft, zijn nog steeds geïsoleerd van elkaar.

Big data gaat niet alleen over één tool of één technologie. Het gaat erom hoe al deze technologieën samenkomen om de juiste inzichten te geven, op het juiste moment, op basis van de juiste gegevens - ongeacht of deze worden gegenereerd door mensen, machines of internet.