[Sqoop]Sqoop使用

《[Sqoop]Sqoop使用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、[Sqoop]Sqoop使用Sqoop的本质还是一个命令行工具，和HDFS，MapReduce相比，并没有什么高深的理论。我们可以通过sqoophelp命令来查看sqoop的命令选项，如下：1.16/11/1320:10:17INFOsqoop.Sqoop:RunningSqoopversion:1.4.62.usage:sqoopCOMMAND[ARGS]3.4.Availablecommands:5. codegen      Generatecodetointeractwithdatabaserecords6. create-

2、hive-table ImportatabledefinitionintoHive7. eval       EvaluateaSQLstatementanddisplaytheresults8. export      ExportanHDFSdirectorytoadatabasetable9. help       Listavailablecommands10. import      ImportatablefromadatabasetoHDFS11. import-all-tables Importtablesfroma

3、databasetoHDFS12. import-mainframe ImportdatasetsfromamainframeservertoHDFS13. job        Workwithsavedjobs14. list-databases  Listavailabledatabasesonaserver15. list-tables    Listavailabletablesinadatabase16. merge       Mergeresultsofincrementalimports17. metastore 

4、    RunastandaloneSqoopmetastore18. version      Displayversioninformation19.20.See'sqoophelpCOMMAND'forinformationonaspecificcommand.其中使用频率最高的选项还是import和export选项。1.codegen将关系型数据库表的记录映射为一个Java文件，Java class类以及相关的jar包，该命令将数据库表的记录映射为一个Java文件，在该Java文件中对应有表的各个字段。生成的jar和clas

5、s文件在Metastore功能使用时会用到。该命令选项的参数如下图所示：举例：1.sqoopcodegen--connectjdbc:mysql://localhost:3306/test--tableorder_info-outdir/home/xiaosi/test/--usernameroot-passwordroot上面实例以test数据库的order_info表来生成Java代码，其中-outdir指定了Java代码生成的路径运行结果信息如下：1.16/11/1321:50:34INFOsqoop.Sqoop:Runnin

6、gSqoopversion:1.4.62.Enterpassword:3.16/11/1321:50:38INFOmanager.MySQLManager:PreparingtouseaMySQLstreamingresultset.4.16/11/1321:50:38INFOtool.CodeGenTool:Beginningcodegeneration5.16/11/1321:50:38INFOmanager.SqlManager:ExecutingSQLstatement:SELECTt.*FROM`order_info`AS

7、tLIMIT16.16/11/1321:50:38INFOmanager.SqlManager:ExecutingSQLstatement:SELECTt.*FROM`order_info`AStLIMIT17.16/11/1321:50:38INFOorm.CompilationManager:HADOOP_MAPRED_HOMEis/opt/hadoop-2.7.21.注:/tmp/sqoop-xiaosi/compile/ea41fe40e1f12f6b052ad9fe4a5d9710/order_info.java使用或覆盖

8、了已过时的API。2.注:有关详细信息,请使用-Xlint:deprecation重新编译。3.16/11/1321:50:39INFOorm.CompilationManager:Writingjarfile:/tmp/sqoop-