hadoop叢集遠端拷貝資料

anickname發表於2016-03-08
 命令如下:
 hadoop distcp -Dmapred.job.queue.name=root.default -overwrite ftp://root:root@146.240.10.237/NFS/SFILSVR/SAPPNFS_20151231/CUNFS/2015-12-30/88023930 hdfs://nameservice1/user/pmtlas/TLAS/settlement_file/2015-12-30/  
hadoop distcp -Dmapred.job.queue.name=root.default -啟動MR拷貝資料,
overwrite-表示覆蓋資料
ftp://root:root@146.240.10.237/NFS/SFILSVR/SAPPNFS_20151231/CUNFS/2015-12-30/88023930-源路徑,這裡是FTP,也可是另外一臺叢集HDFS路徑
hdfs://nameservice1/user/pmtlas/TLAS/settlement_file/2015-12-30/  -目標hdfs路徑

相關文章