odps平臺將資料匯入到hdfs
根據指導文件,我寫了一個指令碼,如下:
{
"order":{
"hops":[
{
"from":"Reader",
"to":"Writer"
}
]
},
"setting":{
"errorLimit":{
"record":"1000000"
},
"speed":{
"concurrent":1,
"dmu":1,
"throttle":false
}
},
"steps":[
{
"category":"reader",
"name":"Reader",
"parameter":{
"column":[
"*"
],
"datasource":"BigDataEast",
"partition":["datatype='ali'"],
"table":"dwd_user_map"
},
"stepType":"odps"
},
{
"category":"writer",
"name":"Writer",
"parameter":{
"column":[
{
"name":"col1",
"type":"string"
},
{
"name":"col2",
"type":"string"
},
{
"name":"col3",
"type":"string"
},
{
"name":"col4",
"type":"string"
},
{
"name":"col5",
"type":"string"
},
{
"name":"col6",
"type":"string"
},
{
"name":"col7",
"type":"string"
},
{
"name":"col8",
"type":"string"
},
{
"name":"col9",
"type":"string"
},
{
"name":"col10",
"type":"string"
},
{
"name":"col11",
"type":"string"
},
{
"name":"col12",
"type":"string"
},
{
"name":"col13",
"type":"string"
}
],
"compress":"gzip",
"datasource":"hadoop_test",
"encoding":"UTF-8",
"fieldDelimiter":"\n",
"fileName":"test1",
"fileType":"text",
"path":"/cdm",
"writeMode":"append"
},
"stepType":"hdfs"
}
],
"type":"job",
"version":"2.0"
}
但是執行時候報了一個很莫名其妙的錯誤
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /szb_data__873b21de_085c_44cd_954a_fbaf386cec38/test1.gz could only be replicated to 0 nodes instead of minReplication (=1). There are3 datanode(s) running and 3 node(s) are excluded in this operation.
事實上我的DataNode完全正常,我通過程式碼將本地檔案上傳到HDFS也成功了。說明hdfs正常,有沒有大神指導下這個是什麼錯誤。
相關文章
- Flume:資料匯入到hdfs中
- 資料匯入終章:如何將HBase的資料匯入HDFS?
- Sqoop將MySQL資料匯入到hive中OOPMySqlHive
- GeoRapter工具將shapefile資料匯入到Oracle空間資料庫中APTOracle資料庫
- python將目標檢測資料匯入到指定資料庫中Python資料庫
- 如何將外部資料庫 匯入到系統的SQL中資料庫SQL
- kafka connect,將資料批量寫到hdfs完整過程Kafka
- 匯入excel資源到資料庫Excel資料庫
- 如何將Excl內資料匯入資料庫?資料庫
- .NET Core使用NPOI將Excel中的資料批量匯入到MySQLExcelMySql
- 教你如何將二進位制檔案匯入到資料庫資料庫
- Mysql增量寫入Hdfs(一) --將Mysql資料寫入Kafka TopicMySqlKafka
- java 從EXCEL匯入到資料庫JavaExcel資料庫
- Transmit教程|如何將Transmit傳輸到新的Mac並匯入資料MITMac
- 建立HDFS,匯入HADOOP jar包HadoopJAR
- 5 步教你將 MRS 資料匯入 DWS
- 將資料庫中資料匯入至solr索引庫資料庫Solr索引
- 如何將kafka中的資料快速匯入Hadoop?KafkaHadoop
- Mysql 大資料表 資料匯入到SqlServer 中的方法MySql大資料Server
- IIS 日誌匯入到資料庫的方法資料庫
- 資料庫 MySQL 資料匯入匯出資料庫MySql
- 從 svn 將myeclispe專案匯入到ideaLispIdea
- sqoop資料匯入匯出OOP
- Oracle 資料匯入匯出Oracle
- 資料泵匯出匯入
- Oracle資料匯入匯出Oracle
- phpMyAdmin匯入/匯出資料PHP
- 將資料匯出到ExcelExcel
- 將資料匯入kudu表(建立臨時hive表,從hive匯入kudu)步驟Hive
- 大文字資料,匯入匯出到資料庫資料庫
- MySQL入門--匯出和匯入資料MySql
- 如何將傳統關聯式資料庫的資料匯入Hadoop?資料庫Hadoop
- MATLAB匯入資料Matlab
- C# 將資料寫入到Excel表格C#Excel
- 如何將日誌檔案和二進位制檔案快速匯入HDFS?
- 將 C++程式移植到 Android 平臺C++Android
- 將 crt 檔案匯入到 jks 檔案 -cg
- 如何快速將大量客戶名片匯入到CRM?