Video: Sqoop 2 New generation of Big Data Transfers - Jaroslav Cecho, Abraham Elmahrek 2024
Met al het succes rondom Sqoop 1. x na zijn afstuderen van de Apache incubator, heeft Sqoop een momentum! Dus, zoals je zou verwachten, is Sqoop 2. 0 onderweg met spannende nieuwe functies. Je kunt zien dat Sqoop 1. 99. 3 kan worden gedownload, compleet met documentatie.
Je vraagt je waarschijnlijk af hoeveel 1. 99. x releases beschikbaar zijn voordat de grote 2. 0 hits. Nou, de meeste kristallen bollen werken slechts parttime, dus het antwoord is "nog niet. “
Hier is een voorbeeld van Sqoop 2. 0-functies. U kent de oefening echter: de situatie kan veranderen in de aanloop naar de 2. 0-release. De figuur illustreert (gedocumenteerde) ontwerpplannen voor Sqoop 2. 0.
Zoals je kunt zien, is de grote verandering in de werken dat Sqoop 2. 0 een aparte server heeft, wat goed nieuws is om een aantal redenen. Ten eerste hoeft u niet zoveel werk te doen. De Sqoop-connector en het JDBC-stuurprogramma worden eenmaal door de systeembeheerder geïnstalleerd voor uw cluster in plaats van eenmaal per Sqoop-client.
Je moet nog steeds het werk doen, maar misschien vind je het volgende voordeel wel leuk: Sqoop 2. 0 is veiliger! Met een Sqoop-server als onderdeel van de architectuur hoeven gevoelige bewerkingen zoals het verbinden met de databaseservers alleen op de Sqoop-server te gebeuren en hebt u op rollen gebaseerde toegangscontrole.
Bovendien kunnen Sqoop-clients Sqoop overal gebruiken op het netwerk (dankzij de nieuwe rustinterface) en zullen ze genieten van een nieuwe grafische gebruikersinterface (GUI). U gaat ermee akkoord dat de opdrachtregelopties noodzakelijk en krachtig zijn voor scriptdoeleinden, maar iedereen houdt van tijd tot tijd een leuke grafische gebruikersinterface. Sqoop vereist veel opdrachtregelopties, die foutgevoelig kunnen zijn zonder een GUI om u te begeleiden.
Je hebt waarschijnlijk MapReduce opgemerkt (in plaats van alleen kaarttaken) trots weergegeven. Tot dan, geniet van Sqoop 1. x en begin met het experimenteren met 1. 99. x.