使用Presto查詢hive表資料時報"Error opening Hive split hdfs"問題,及解決方法

牛糞上插朵花發表於2018-11-14

問題如下,在使用presto查詢hive表中資料時,報了“Error opening Hive split hdfs”,詳細的日誌,意思是Hive在處理資料的時候使用的是ORC檔案有問題,但是看了讀取的檔案,明顯是snappy格式的檔案,所以讀取的檔案是畸形的ORC檔案。

現在很簡單,檢視我們的Hive建表語句。show create table xxx表。

檢視了一下Hive的建表語句,發現Hive是一張外部表

檔案是ORC格式,讀取時候時候使用的是OrcInputFormat

問題清楚了,現在刪除我們的外部表,重新建立hive外部表,格式和檔案格式保持統一即可。使用parquet檔案格式。

 

相關文章