淘寶分散式框架 Fourinone 2.0

jieforest發表於2012-06-05
[i=s] 本帖最後由 jieforest 於 2012-6-5 05:27 編輯

淘寶Fourinone2.0提供了一個41分散式框架和簡單易用的程式設計API,實現對多臺計算機CPU、記憶體、硬碟的統一利用,從而獲取到強大計算能力去解決複雜問題:  

Fourinone框架提供了一系列平行計算模式(農民工/包工頭/職介紹/手工倉庫)用於利用多機多核CPU的計算能力;

1提供完整的分散式快取和小型快取用於利用多機記憶體能力;

2提供像操作本地檔案一樣操作遠端檔案(訪問、並行讀寫、拆分、排他、複製、解析、事務等)用於利用多機硬碟儲存能力;

3由於多計算機物理上獨立,Fourinone框架也提供完整的分散式協同和鎖以及簡化MQ功能,用於實現多機的協作和通訊。



Fourinone 2.0新增功能


1. 提供了對分散式檔案的便利操作

將叢集中所有機器的硬碟資源利用起來,通過統一的fttp檔案路徑訪問,如:

Windowsfttp://v020138.sqa.cm4/d:/data/a.log
Linuxfttp://v020138.sqa.cm4/home/user/a.log

比如以這樣的方式讀取遠端檔案:

CODE:

FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");  
fa.getFttpReader().readAll();  

2.  提供對叢集檔案的操作支援

包括:
1後設資料訪問,新增刪除,按塊拆分, 高效能並行讀寫,排他讀寫(按檔案部分內容鎖定),隨機讀寫,叢集複製等

2對叢集檔案的解析支援(包括按行,按分割符,按最後標識讀取)

3對整形資料的高效能讀寫支援(ArrayIntArrayList存的更多更快)

4兩階段提交和事務補償處理

5自帶一個叢集檔案瀏覽器,可以檢視叢集所有硬碟上的檔案(不同於hadoopnamenode,沒有單點問題和容量限制)

總的來說,將叢集看做一個作業系統,像操作本地檔案一樣操作遠端檔案。

但是fourinone並不提供一個分散式儲存系統,比如檔案資料的匯入匯出、拆分儲存、負載均衡,備份容災等儲存功能,不過開發人員可以利用這些API去設計和實現這些功能,用來滿足自己的特定需求。

更多介紹請看使用指南:

一、如何搭建配置FttpAdapter環境
二、如何訪問叢集檔案根目錄
三、如何訪問和操作遠端檔案
四、如何進行叢集內檔案複製和並行複製
五、如何讀寫遠端檔案
六、如何解析遠端檔案
七、如何並行讀寫遠端檔案
八、如何批量並行讀寫遠端檔案和事務補償處理



3.  自動化classjar包部署

classjar包只需放在工頭機器上, 各工人機器會自動獲取並執行,相容作業系統,不需要進行安全金鑰複雜配置



4.  網路波動狀況下的策略處理

設定搶救期,搶救期內網路穩定下來不判定結點死亡

下載地址:http://www.skycn.com/soft/68321.html




來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/301743/viewspace-731898/,如需轉載,請註明出處,否則將追究法律責任。

相關文章