odps平臺將資料匯入到hdfs
根據指導文件,我寫了一個指令碼,如下:
{
"order":{
"hops":[
{
"from":"Reader",
"to":"Writer"
}
]
},
"setting":{
"errorLimit":{
"record":"1000000"
},
"speed":{
"concurrent":1,
"dmu":1,
"throttle":false
}
},
"steps":[
{
"category":"reader",
"name":"Reader",
"parameter":{
"column":[
"*"
],
"datasource":"BigDataEast",
"partition":["datatype='ali'"],
"table":"dwd_user_map"
},
"stepType":"odps"
},
{
"category":"writer",
"name":"Writer",
"parameter":{
"column":[
{
"name":"col1",
"type":"string"
},
{
"name":"col2",
"type":"string"
},
{
"name":"col3",
"type":"string"
},
{
"name":"col4",
"type":"string"
},
{
"name":"col5",
"type":"string"
},
{
"name":"col6",
"type":"string"
},
{
"name":"col7",
"type":"string"
},
{
"name":"col8",
"type":"string"
},
{
"name":"col9",
"type":"string"
},
{
"name":"col10",
"type":"string"
},
{
"name":"col11",
"type":"string"
},
{
"name":"col12",
"type":"string"
},
{
"name":"col13",
"type":"string"
}
],
"compress":"gzip",
"datasource":"hadoop_test",
"encoding":"UTF-8",
"fieldDelimiter":"\n",
"fileName":"test1",
"fileType":"text",
"path":"/cdm",
"writeMode":"append"
},
"stepType":"hdfs"
}
],
"type":"job",
"version":"2.0"
}
但是執行時候報了一個很莫名其妙的錯誤
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /szb_data__873b21de_085c_44cd_954a_fbaf386cec38/test1.gz could only be replicated to 0 nodes instead of minReplication (=1). There are3 datanode(s) running and 3 node(s) are excluded in this operation.
事實上我的DataNode完全正常,我通過程式碼將本地檔案上傳到HDFS也成功了。說明hdfs正常,有沒有大神指導下這個是什麼錯誤。
相關文章
- Flume:資料匯入到hdfs中
- 資料匯入終章:如何將HBase的資料匯入HDFS?
- 【匯入匯出】將資料匯入到其他使用者
- 將Mysql資料匯入到ElasticSearch叢集MySqlElasticsearch
- 將資料從文字匯入到mysql(轉)MySql
- Sqoop將MySQL資料匯入到hive中OOPMySqlHive
- pl/sql developer將excel資料匯入到資料庫中SQLDeveloperExcel資料庫
- 定時將資料匯入到hive的shell指令碼Hive指令碼
- 將XML匯入資料庫XML資料庫
- 如何將資料匯入到 SQL Server Compact Edition 資料庫中SQLServer資料庫
- GeoRapter工具將shapefile資料匯入到Oracle空間資料庫中APTOracle資料庫
- python將目標檢測資料匯入到指定資料庫中Python資料庫
- 如何將外部資料庫 匯入到系統的SQL中資料庫SQL
- 用匯入匯出誇平臺遷移所有資料( Move a Database Between Platforms)DatabasePlatform
- 將excel表格匯入資料庫Excel資料庫
- 將informix匯出的文字資料匯入oracle資料庫ORMOracle資料庫
- 匯入excel資源到資料庫Excel資料庫
- 如何將Excl內資料匯入資料庫?資料庫
- kafka connect,將資料批量寫到hdfs完整過程Kafka
- Mysql增量寫入Hdfs(一) --將Mysql資料寫入Kafka TopicMySqlKafka
- .NET Core使用NPOI將Excel中的資料批量匯入到MySQLExcelMySql
- 教你如何將二進位制檔案匯入到資料庫資料庫
- 將excel中資料從window上匯入到linux中oracle資料庫ExcelLinuxOracle資料庫
- java 從EXCEL匯入到資料庫JavaExcel資料庫
- 把Excel表資料匯入到mysqlExcelMySql
- MySQL資料匯入到infobright中MySql
- 從Excel到匯入MYSQL資料庫ExcelMySql資料庫
- 如何用Java將excel資料匯入資料庫JavaExcel資料庫
- GoldenGate實時投遞資料到大資料平臺(6)– HDFSGo大資料
- rman將linux平臺資料庫遷移到window平臺資料庫Linux資料庫
- Transmit教程|如何將Transmit傳輸到新的Mac並匯入資料MITMac
- 5 步教你將 MRS 資料匯入 DWS
- java怎麼將excel表格資料匯入資料庫JavaExcel資料庫
- 如何把資料從Mysql匯入到GreenplumMySql
- Sql Server資料庫資料匯入到SQLite資料庫中Server資料庫SQLite
- 從linux平臺移值資料庫到windows平臺Linux資料庫Windows
- 將資料庫中資料匯入至solr索引庫資料庫Solr索引
- 建立HDFS,匯入HADOOP jar包HadoopJAR