Laag 0 van de Big Data Stack: redundante fysieke infrastructuur - dummies

Op het laagste niveau van de big data-stack bevindt zich de fysieke infrastructuur. Uw bedrijf heeft mogelijk al een datacenter of investeringen in fysieke infrastructuren, dus u wilt een manier vinden om de bestaande assets te gebruiken.

Big data-implementaties hebben zeer specifieke vereisten voor alle elementen in de referentiearchitectuur, dus u moet deze vereisten op een laag-voor-laag-basis onderzoeken om ervoor te zorgen dat uw implementatie presteert en schaalt volgens de eisen van uw bedrijf.

Een geprioriteerde lijst met big data-principes moet uitspraken bevatten over het volgende:

• Prestaties: Hoe responsief moet u het systeem hebben? Prestaties, ook wel latency, genoemd, worden vaak van begin tot eind gemeten, op basis van één enkele transactie of queryaanvraag.

• Beschikbaarheid: Heeft u een 100 procent uptime-garantie van service nodig? Hoe lang kan uw bedrijf wachten in het geval van een serviceonderbreking of -storing?

• Schaalbaarheid: Hoe groot moet uw infrastructuur zijn? Hoeveel schijfruimte is er vandaag en in de toekomst nodig? Hoeveel rekenkracht heb je nodig? Meestal moet u beslissen wat u nodig heeft en vervolgens een beetje meer schaal toevoegen voor onverwachte uitdagingen.

• Flexibiliteit: Hoe snel kunt u meer bronnen toevoegen aan de infrastructuur? Hoe snel kan uw infrastructuur herstellen van storingen?

• Kosten: Wat kunt u betalen? Omdat de infrastructuur bestaat uit een reeks componenten, kunt u mogelijk het "beste" netwerk aanschaffen en besluiten geld te besparen op opslag. U moet voor elk van deze gebieden eisen stellen in de context van een algemeen budget en vervolgens waar nodig compromissen sluiten.

Aangezien big data draait om high-velocity, high-volume en high-data variety, zal de fysieke infrastructuur de implementatie letterlijk "maken of breken". De meeste big data-implementaties moeten goed beschikbaar zijn, dus de netwerken, servers en fysieke opslag moeten zowel veerkrachtig als overbodig zijn. Veerkracht en redundantie hangen met elkaar samen.

Een infrastructuur, of een systeem, is bestand tegen storingen of verandert wanneer voldoende overtollige bronnen aanwezig zijn, klaar om in actie te komen. Redundantie zorgt ervoor dat een dergelijke storing geen storing veroorzaakt. Veerkracht helpt bij het elimineren van enkele faalpunten in uw infrastructuur.

In grote datacenters met bedrijfscontinuïteitsvereisten is de meeste redundantie aanwezig en kan deze worden gebruikt om een ​​big data-omgeving te creëren.Bij nieuwe implementaties hebben de ontwerpers de verantwoordelijkheid om de implementatie in kaart te brengen naar de behoeften van het bedrijf op basis van kosten en prestaties.

Dit betekent dat de technische en operationele complexiteit wordt gemaskeerd achter een verzameling services, elk met specifieke voorwaarden voor prestaties, beschikbaarheid, herstel, enzovoort. Deze voorwaarden worden beschreven in Service Level Agreements (SLA's) en worden meestal onderhandeld tussen de serviceprovider en de klant, met boetes voor niet-naleving.

In feite creëert dit een virtueel gegevenscentrum. Zelfs met deze aanpak moet u nog steeds weten wat er nodig is om een ​​grote gegevensimplementatie te bouwen en uit te voeren, zodat u de meest geschikte selecties uit het beschikbare serviceaanbod kunt maken. Ondanks het hebben van een SLA, heeft uw organisatie nog steeds de eindverantwoordelijkheid voor de prestaties.

Fysieke redundante big data-netwerken

Netwerken moeten overbodig zijn en voldoende capaciteit hebben om het verwachte volume en de snelheid van de inkomende en uitgaande gegevens te accommoderen, naast het "normale" netwerkverkeer dat door het bedrijf wordt ervaren. Als u begint met het maken van big data een integraal onderdeel van uw computerstrategie, is het redelijk om te verwachten dat het volume en de snelheid toenemen.

Infrastructuurontwerpers moeten plannen voor deze verwachte stijgingen en fysieke implementaties proberen te maken die 'elastisch' zijn. "Naarmate het netwerkverkeer wegebt en stroomt, neemt ook de verzameling fysieke activa toe die aan de implementatie is gekoppeld. Uw infrastructuur moet bewakingsmogelijkheden bieden, zodat operators kunnen reageren wanneer meer resources nodig zijn om wijzigingen in workloads aan te pakken.

Big data-hardware beheren: opslag en servers

Evenzo moeten de hardware (opslag en server) -middelen voldoende snelheid en capaciteit hebben om alle verwachte big-datamogelijkheden aan te kunnen. Het heeft weinig zin om een ​​supersnel netwerk met trage servers te hebben, omdat de servers hoogstwaarschijnlijk een bottleneck worden. Een zeer snelle set opslag- en rekenservers kan echter de variabele netwerkprestaties overwinnen. Natuurlijk zal niets goed werken als de netwerkprestaties slecht of onbetrouwbaar zijn.

Big data-infrastructuuroperaties

Een andere belangrijke overweging bij het ontwerp is het beheer van infrastructuuroperaties. De hoogste niveaus van prestaties en flexibiliteit zullen alleen aanwezig zijn in een goed beheerde omgeving. Beheerders van datacenters moeten kunnen anticiperen op en voorkomen van catastrofale storingen, zodat de integriteit van de gegevens, en bij uitbreiding de bedrijfsprocessen, behouden blijft. IT-organisaties kijken vaak over het hoofd en zijn daarom te weinig geïnvesteerd in dit gebied.