使用Presto查詢hive表資料時報"Error opening Hive split hdfs"問題,及解決方法
問題如下,在使用presto查詢hive表中資料時,報了“Error opening Hive split hdfs”,詳細的日誌,意思是Hive在處理資料的時候使用的是ORC檔案有問題,但是看了讀取的檔案,明顯是snappy格式的檔案,所以讀取的檔案是畸形的ORC檔案。
現在很簡單,檢視我們的Hive建表語句。show create table xxx表。
檢視了一下Hive的建表語句,發現Hive是一張外部表
檔案是ORC格式,讀取時候時候使用的是OrcInputFormat
問題清楚了,現在刪除我們的外部表,重新建立hive外部表,格式和檔案格式保持統一即可。使用parquet檔案格式。
相關文章
- 實戰 | Hive 資料傾斜問題定位排查及解決Hive
- Hive之Hive快捷查詢(避免Mapruduce查詢)Hive
- hive使用報錯解決方法Hive
- Hive學習筆記 5 Hive的資料查詢、函式Hive筆記函式
- [Hive]Hive實現抽樣查詢Hive
- Hive -------- hive常見查詢練習Hive
- hive將查詢資料插入表中某欄位無資料Hive
- [hive]hive資料模型中四種表Hive模型
- 圖解大資料 | 海量資料庫查詢-Hive與HBase詳解圖解大資料資料庫Hive
- hive學習之二:hive sql使用總結及遇到的問題HiveSQL
- Hive資料庫及表的基本操作Hive資料庫
- hive表查詢中文顯示亂碼Hive
- impala查詢不到hive裡建立的表Hive
- 徹底解決Hive小檔案問題Hive
- 【Hive】hive資料遷移Hive
- Presto 與 Hive 語法學習RESTHive
- [Hive]Hive中表連線的優化,加快查詢速度Hive優化
- Hive 面試問題Hive面試
- 【HIVE】hive 使用shell指令碼跑歷史資料Hive指令碼
- Hive千億級資料傾斜解決方案Hive
- 報表連 hive,資料量比較大,怎麼分頁查詢?Hive
- Hive內部函式簡介及查詢語法Hive函式
- 好程式設計師大資料學習路線之hive表的查詢程式設計師大資料Hive
- hive job oom問題HiveOOM
- 使用 Hive 構建資料庫Hive資料庫
- 【Hive一】Hive安裝及配置Hive
- Hue3.9 搭建整合【HDFS】【Hive】Hive
- 如何解決Hive中經常出現的資料傾斜問題Hive
- HIVE 資料同步Hive
- 問卷調查中常見問題及解決方法
- hive之Error in metadataHiveError
- Apache Hive 面試問答題ApacheHive面試
- hive 動態分割槽插入資料表Hive
- Hive JOIN使用詳解Hive
- ORACLE 鎖表的解決方法及查詢引起鎖表SQL語句方法OracleSQL
- Hive篇---Hive使用優化Hive優化
- 將資料匯入kudu表(建立臨時hive表,從hive匯入kudu)步驟Hive
- 【大資料開發】Hive——Hive函式大全大資料Hive函式