2020-10-19

主要問題是在使用sqoop時的引數配置問題,當我們選用搜sqoop job 方式提交時,雖然在最後面按照官網提示配置了schema引數,但是sqoop job的解析並不能正確解析,到時候會報錯Unrecognized argument: --schema .

 sqoop job -D mapreduce.job.queuename=root.default -D org.apache.sqoop.splitter.allow_text_splitter=true  --create hub_data_extract_task_sub_750  -- import  --connect 'jdbc:postgresql://:54321/postgres' --username 'postgres' --password-file /user/achilles/sqoop/pwd/project_153/PostgreSQL_模式測試postgre_226.pwd --table 'application_manage' --columns 'id,name,app_code,describes,version,deleted,gmt_create,gmt_modified,create_by,update_by,app_key,app_secret,status,accesst_token,org_id' --target-dir /user/achilles/batch_sync/hive_tmp/hub_data_extract_task_sub_750.tmp/ --fields-terminated-by '\001' --hive-drop-import-delims  --delete-target-dir  --split-by id --m 4 -- --schema schemaName.

上面是按照網上提示寫的,並不能在sqoop job 下作業提交,這種只適用於sqoop命令列模式直接進行import

如果涉及到增量同步,使用sqoop job方式提交,需要 – -- --schema,跟前面的import的–import同級下,才可以進行下級註釋.