淘寶分散式框架 Fourinone 2.0

jieforest發表於2012-06-05
分散式框架None
[i=s] 本帖最後由 jieforest 於 2012-6-5 05:27 編輯

淘寶Fourinone2.0提供了一個4合1分散式框架和簡單易用的程式設計API，實現對多臺計算機CPU、記憶體、硬碟的統一利用，從而獲取到強大計算能力去解決複雜問題：  

Fourinone框架提供了一系列平行計算模式（農民工/包工頭/職介紹/手工倉庫）用於利用多機多核CPU的計算能力；

1）提供完整的分散式快取和小型快取用於利用多機記憶體能力；

2）提供像操作本地檔案一樣操作遠端檔案（訪問、並行讀寫、拆分、排他、複製、解析、事務等）用於利用多機硬碟儲存能力；

3）由於多計算機物理上獨立，Fourinone框架也提供完整的分散式協同和鎖以及簡化MQ功能，用於實現多機的協作和通訊。



Fourinone 2.0新增功能

1. 提供了對分散式檔案的便利操作

將叢集中所有機器的硬碟資源利用起來，通過統一的fttp檔案路徑訪問，如：

Windows：fttp://v020138.sqa.cm4/d:/data/a.log
Linux：fttp://v020138.sqa.cm4/home/user/a.log

比如以這樣的方式讀取遠端檔案：

CODE:

FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");  
fa.getFttpReader().readAll();  

2.  提供對叢集檔案的操作支援

包括：
1）後設資料訪問，新增刪除，按塊拆分, 高效能並行讀寫，排他讀寫（按檔案部分內容鎖定），隨機讀寫，叢集複製等。

2）對叢集檔案的解析支援（包括按行，按分割符，按最後標識讀取）

3）對整形資料的高效能讀寫支援（ArrayInt比ArrayList存的更多更快）

4）兩階段提交和事務補償處理

5）自帶一個叢集檔案瀏覽器，可以檢視叢集所有硬碟上的檔案（不同於hadoop的namenode,沒有單點問題和容量限制）

總的來說，將叢集看做一個作業系統，像操作本地檔案一樣操作遠端檔案。

但是fourinone並不提供一個分散式儲存系統，比如檔案資料的匯入匯出、拆分儲存、負載均衡，備份容災等儲存功能，不過開發人員可以利用這些API去設計和實現這些功能，用來滿足自己的特定需求。

更多介紹請看使用指南：

一、如何搭建配置FttpAdapter環境
二、如何訪問叢集檔案根目錄
三、如何訪問和操作遠端檔案
四、如何進行叢集內檔案複製和並行複製
五、如何讀寫遠端檔案
六、如何解析遠端檔案
七、如何並行讀寫遠端檔案
八、如何批量並行讀寫遠端檔案和事務補償處理



3.  自動化class和jar包部署

class和jar包只需放在工頭機器上， 各工人機器會自動獲取並執行，相容作業系統，不需要進行安全金鑰複雜配置。



4.  網路波動狀況下的策略處理

設定搶救期，搶救期內網路穩定下來不判定結點死亡

下載地址：http://www.skycn.com/soft/68321.html




來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/301743/viewspace-731898/，如需轉載，請註明出處，否則將追究法律責任。

相關文章