msck repair命令 修復表分割槽

呆呆笨笨的魚發表於2016-01-04
AI
msck repair table 表名；
     該命令會把沒新增進partition的資料，都增加對應的partition。同步源資料資訊metadata。

場景：
  由於一個資料量較大的表使用的是textfield格式儲存，需要將此錶轉換成rcfile格式儲存。

step1. 使用 hadoop fs -mv hdfsdir1 hdfsdir2 修改檔案路徑

step2. 建立結構相同的表引用 hdfsdir2 檔案路徑

step3. 使用msck repair table  命令修復引用各分割槽資料。

step4. 刪除並重新建立原始表(儲存格式為rcfile)，做個迴圈job將資料重新insert到原始表。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/28929558/viewspace-1970631/，如需轉載，請註明出處，否則將追究法律責任。

相關文章