Zet je Big Data samen - dummies

Hoe weet u hoe u al uw gegevens bij elkaar moet zetten? Met een big data-project geeft wat u wilt doen met uw gestructureerde en ongestructureerde gegevens aan waarom u voor een ander deel over een andere technologie zou kunnen kiezen. Het bepaalt ook de noodzaak om inkomende gegevensstructuren te begrijpen om deze gegevens op de juiste plaats te zetten.

Verschillende gegevenstypen beheren voor big data

U moet rekening houden met enkele kenmerken van big data en de soorten gegevensbeheersystemen die u mogelijk zou willen gebruiken om ze allemaal te adresseren.

Integreer gegevenstypen in een big data-omgeving

Een ander belangrijk aspect van big data is dat u vaak niet alle gegevens hoeft te bezitten die u gaat gebruiken. Veel voorbeelden maken het punt. U maakt mogelijk gebruik van sociale mediadata, gegevens afkomstig van industriestatistieken van derden of zelfs gegevens afkomstig van satellieten. Denk maar aan sociale media en je zult het begrijpen.

Vaak wordt het noodzakelijk om verschillende bronnen te integreren. Deze gegevens kunnen afkomstig zijn van alle interne systemen, zowel van interne als externe bronnen, of van volledig externe bronnen. Veel van deze gegevens zijn mogelijk al eerder verzand.

Gegevens hoeven niet in realtime naar u te komen. Je hebt er misschien heel veel van en het is ongelijksoortig van aard. Dit kan nog steeds kwalificeren als een groot gegevensprobleem. Natuurlijk kunt u ook worden geconfronteerd met een scenario waarin u enorme hoeveelheden gegevens ziet, met hoge snelheden, en het is ongelijksoortig van aard.

Het gaat erom dat u de bedrijfswaarde niet krijgt als u met een verscheidenheid aan gegevensbronnen te maken krijgt als een verzameling losse silo's met informatie.

Componenten die u nodig hebt, zijn connectoren en metagegevens.

Connectors

U wilt een aantal connectors hebben waarmee u gegevens kunt ophalen uit verschillende big data-bronnen. Misschien wil je een Twitter-connector of een Facebook-connector. Misschien moet u vanuit uw datawarehouse integreren met een grote gegevensbron die niet bij u in de buurt is, zodat u beide gegevensbronnen samen kunt analyseren.

Metadata

Een essentieel onderdeel om al deze gegevens te integreren, zijn de metadata. Metadata zijn de definities, toewijzingen en andere kenmerken die worden gebruikt om te beschrijven hoe u de componenten (en software) van een bedrijf kunt vinden, openen en gebruiken. Een voorbeeld van metadata zijn gegevens over een accountnummer. Dit kan het aantal, de beschrijving, het gegevenstype, de naam, het adres, het telefoonnummer en het privacyniveau zijn.

Metagegevens kunnen worden gebruikt om u te helpen bij het organiseren van uw gegevensopslag en om te gaan met nieuwe en veranderende gegevensbronnen. Hoewel het idee van metadata niet nieuw is, verandert het en evolueert het in de context van big data.In de traditionele wereld met metadata is het belangrijk om een ​​catalogus te hebben met een enkel beeld van alle gegevensbronnen.

Maar deze catalogus moet anders zijn als u niet al deze gegevensbronnen beheert. Mogelijk hebt u een analysehulpprogramma nodig dat u helpt de onderliggende metagegevens te begrijpen.