De evolutie van gedistribueerd computergebruik voor Big Data - dummies

Achter alle belangrijke trends van het afgelopen decennium, inclusief servicegerichtheid, cloud computing, virtualisatie en big data, is een fundamentele technologie genaamd distributed computing. Simpel gezegd, zonder computergebruik te distribueren, is geen van deze verbeteringen mogelijk.

Gedistribueerd computergebruik is een techniek waarmee individuele computers in verschillende geografische regio's kunnen worden samengevoegd alsof het om een ​​enkele omgeving gaat. Je vindt veel verschillende implementaties van distributed computing. In sommige topologieën geven individuele computerentiteiten eenvoudig berichten door aan elkaar.

In andere situaties kan een gedistribueerde computeromgeving bronnen delen van geheugen tot netwerken en opslag. Alle gedistribueerde computermodellen hebben een gemeenschappelijk kenmerk: het zijn een groep netwerkcomputers die samenwerken om een ​​workload of proces uit te voeren.

DARPA en big data

Het bekendste distributed computing-model, het internet, is de basis voor alles, van e-commerce tot cloud computing, tot servicebeheer en virtualisatie. Het internet is opgezet als een onderzoeksproject gefinancierd door de Amerikaanse DARPA.

Het is ontworpen om een ​​onderling verbonden netwerksysteem te creëren dat niet-commercieel, samenwerkend onderzoek tussen wetenschappers ondersteunt. In de begintijd van het internet waren deze computers vaak verbonden via telefoonlijnen! Tenzij je die frustratie hebt ervaren, kun je je alleen maar voorstellen hoe traag en fragiel die verbindingen waren.

Naarmate de technologie in het volgende decennium volwassener werd, hebben veelgebruikte protocollen zoals het Transmission Control Protocol (TCP) bijgedragen aan de proliferatie van de technologie en het netwerk. Toen het Internet Protocol (IP) werd toegevoegd, verhuisde het project van een gesloten netwerk voor een verzameling wetenschappers naar een potentieel commercieel platform om e-mail over de hele wereld over te zetten.

In de loop van de jaren tachtig begonnen nieuwe op internet gebaseerde diensten als een commercieel alternatief voor het DARPA-netwerk op de markt te verschijnen. In 1992 keurde het Amerikaanse Congres de wet op de wetenschappelijke en geavanceerde technologie goed die voor het eerst commercieel gebruik van deze krachtige netwerktechnologie toestond. Met zijn voortdurende explosieve groei is het internet echt een wereldwijd gedistribueerd netwerk en blijft het het beste voorbeeld van de kracht van distributed computing.

De waarde van een consistent big data-model

Welk verschil maakte deze door DARPA geleide inspanning in de beweging naar gedistribueerd computergebruik?Vóór de commercialisering van het internet, waren er honderden bedrijven en organisaties die een software-infrastructuur creëerden die bedoeld was om een ​​gemeenschappelijk platform te bieden voor de ondersteuning van een sterk gedistribueerde computeromgeving.

Elke leverancier of standaardorganisatie bedacht echter zijn eigen remote procedures calls (RPC's) die alle klanten, commerciële softwareontwikkelaars en partners zouden moeten aannemen en ondersteunen. RPC is een primitief mechanisme dat wordt gebruikt om werk naar een computer op afstand te verzenden en vereist meestal dat wordt gewacht totdat het werk op afstand is voltooid voordat ander werk kan worden voortgezet.

Met leveranciers die eigen RPC's implementeerden, werd het onpraktisch om je voor te stellen dat een bedrijf in staat zou zijn om een ​​universele standaard voor gedistribueerd computergebruik te creëren. Halverwege de jaren negentig hebben de internetprotocollen deze primitieve benaderingen vervangen en zijn ze de basis geworden voor wat vandaag de dag gedistribueerd computergebruik is. Nadat dit was opgelost, begon het gebruik van deze aanpak voor netwerk-computing te floreren.