Hadoop出現 native snappy library not available: SnappyCompressor has not been loaded的解決辦法

一隻老鼠發表於2016-01-19

我目前測試環境是Hadoop 2.7.1, 搭建群集之後經常出現錯誤“native snappy library not available: SnappyCompressor has not been loaded”, 我目前是兩個結點, 單臺是沒有問題的, 

看了log之後也找不到什麼原因, 煩惱很久, 後面發現如果 是兩臺結點, 會不會是讀取hdfs上面的lib檔案, 而不是讀取本地的lib呢, 我就試了下, 以下是tez在hdfs上的截圖

扔上去後, 居然跑成功了, 試分析了下, 應該是我預設的檔案型別是hdfs的原因, 在core-site.xml可以進行配置fs.defaultFS

相關文章