Video: Afscheid van de hybride-auto | INPLUGGEN of DOORPUFFEN #1 2024
Naast het opslaan van grotere hoeveelheden koude gegevens, één druk die u ziet in traditionele data warehouses is dat steeds meer verwerkingsresources worden gebruikt voor transformatie (ELT) workloads.
Het idee achter het gebruik van Hadoop als een voorbewerkingsengine om gegevens te verwerken, betekent dat kostbare verwerkingscycli worden vrijgegeven, zodat het datawarehouse zijn oorspronkelijke doel behoudt: Antwoord op herhaalde zakelijke vragen ter ondersteuning van analytische toepassingen. Nogmaals, u ziet hoe Hadoop traditionele implementaties van datawarehouses kan aanvullen en hun productiviteit kan verbeteren.
Misschien is er een kleine, denkbeeldige gloeilamp boven je hoofd opgekomen en denk je: "Hé, misschien zijn er sommige transformatie-taken die perfect geschikt zijn voor de gegevensverwerkingsmogelijkheden van Hadoop, maar ik weet dat er ook veel transformatiewerk is doordrenkt van algebraïsche, stapsgewijze taken waarbij SQL uitvoeren op een relationele database-engine de betere keuze zou zijn. Zou het niet cool zijn als ik SQL zou kunnen uitvoeren op Hadoop? “
Een andere hybride benadering om te overwegen, is waar u uw transformatielogica kunt uitvoeren: in Hadoop of in het datawarehouse? Hoewel sommige organisaties zich zorgen maken over het uitvoeren van alles behalve analyses in hun magazijnen, blijft het een feit dat relationele databases uitstekend zijn voor het uitvoeren van SQL en een meer praktische plaats kunnen zijn om een transformatie uit te voeren dan Hadoop.