Video: hadoop yarn architecture 2024
Als het op Sqoop aankomt, is een foto vaak duizend woorden, dus bekijk de figuur, die je een vogelvlucht geeft van de Sqoop-architectuur.
Het idee achter Sqoop is dat het gebruikmaakt van kaart -taken - taken die de parallelle import en export van relationele databasetabellen uitvoeren - rechtstreeks vanuit het Hadoop MapReduce-framework. Dit is goed nieuws omdat het MapReduce-framework fouttolerantie biedt voor import- en exportopdrachten en parallelle verwerking!
U zult de fouttolerantie waarderen als er een fout optreedt tijdens het importeren of exporteren van grote tabellen omdat het MapReduce-framework zal herstellen zonder dat u het proces opnieuw hoeft te starten.
Sqoop kan gegevens importeren naar Hive en HBase. Merk echter op dat de pijlen naar Hive en HBase in slechts één richting wijzen. Gegevens die zijn opgeslagen in een relationele database met JDBC-ondersteuning, kunnen rechtstreeks worden geïmporteerd in de Hive- of HBase-systemen met Sqoop. Export wordt echter uitgevoerd vanuit gegevens die zijn opgeslagen in HDFS.
Daarom, als u uw Hive-tabellen moet exporteren, wijst u Sqoop naar HDFS-directory's die uw Hive-tabellen opslaan. Als u HBase-tabellen wilt exporteren, moet u ze eerst exporteren naar HDFS en vervolgens de opdracht Sqoop-export uitvoeren.