從Hadoop開始的大資料之旅 - 75

leniz發表於2016-12-14
非常忐忑,又不免憧憬即將到來的挑戰。
這幾天從基本的架構開始看起,比如什麼是HDFS,MapReduce以及延伸出來的的HBase,Hive,PIG,或者是
更新換代的Yarn事務管理,Spark 生態圈等等。 

Cgywin安裝單機模式一直無法定位namenode,所以直接用window 7搭建,然後通過命令列匯入匯出檔案,做了一個簡單的
體驗,在跑出Word Count的那一刻還是充滿喜悅和興奮地。

這些都這是純技術的體驗,後面看了一些企業的實際架構,感覺還是沒譜,因為沒有體驗的閱讀難免膚淺,所以
後面的兩本經典書籍必須的加緊看。 只有實踐才能讓自己更進一步。

此時心中也有很多疑問,比如檔案的切割是否會破壞完整性,或者說怎麼保持完整性,否則分散式處理在非完整資料塊下,如何實現呢?

真正的企業實現,必然是Hadoop和OLAP再加BI前端的混合搭建,那麼她們會是如何成型。 一堆疑問待征服。 


Yahoo 的Hadoop機房何其壯觀

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/554557/viewspace-2130622/,如需轉載,請註明出處,否則將追究法律責任。

相關文章