Sqoop 工作
本章介绍如何创建和维护 Sqoop 作业。 Sqoop 作业创建并保存导入和导出命令。它指定用于识别和调用已保存作业的参数。这种重新调用或重新执行用于增量导入,可以将更新后的行从RDBMS表导入HDFS。
语法
以下是创建 Sqoop 作业的语法。
$ sqoop job (generic-args) (job-args)
[--[subtool-name] (subtool-args)]
$ sqoop-job (generic-args) (job-args)
[--[subtool-name] (subtool-args)]
创建作业 (--create)
这里我们创建了一个名为
myjob 的作业,它可以将表数据从 RDBMS 表导入到 HDFS。以下命令用于创建将数据从
db 数据库中的
employee 表导入 HDFS 文件的作业。
$ sqoop job--create myjob \
-- import \
--connect jdbc:mysql://localhost/db \
--username root \
--table employee--m 1
验证作业 (--list)
‘--list’ 参数用于验证保存的作业。以下命令用于验证保存的 Sqoop 作业列表。
它显示保存的作业列表。
检查作业 (--show)
‘--show’ 参数用于检查或验证特定作业及其详细信息。以下命令和示例输出用于验证名为
myjob 的作业。
它显示了在
myjob 中使用的工具及其选项。
Job: myjob
Tool: import Options:
----------------------------
direct.import = true
codegen.input.delimiters.record = 0
hdfs.append.dir = false
db.table = employee
...
incremental.last.value = 1206
...
执行作业 (--exec)
‘--exec’ 选项用于执行保存的作业。以下命令用于执行名为
myjob 的已保存作业。
它显示了以下输出。
10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation
...