淘寶分散式框架 Fourinone 2.0
淘寶Fourinone2.0提供了一個4合1分散式框架和簡單易用的程式設計API,實現對多臺計算機CPU、記憶體、硬碟的統一利用,從而獲取到強大計算能力去解決複雜問題:
Fourinone框架提供了一系列平行計算模式(農民工/包工頭/職介紹/手工倉庫)用於利用多機多核CPU的計算能力;
1)提供完整的分散式快取和小型快取用於利用多機記憶體能力;
2)提供像操作本地檔案一樣操作遠端檔案(訪問、並行讀寫、拆分、排他、複製、解析、事務等)用於利用多機硬碟儲存能力;
3)由於多計算機物理上獨立,Fourinone框架也提供完整的分散式協同和鎖以及簡化MQ功能,用於實現多機的協作和通訊。
Fourinone 2.0新增功能
1. 提供了對分散式檔案的便利操作
將叢集中所有機器的硬碟資源利用起來,通過統一的fttp檔案路徑訪問,如:
Windows:fttp://v020138.sqa.cm4/d:/data/a.log
Linux:fttp://v020138.sqa.cm4/home/user/a.log
比如以這樣的方式讀取遠端檔案:
CODE:
FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");fa.getFttpReader().readAll(); 2. 提供對叢集檔案的操作支援
包括:
1)後設資料訪問,新增刪除,按塊拆分, 高效能並行讀寫,排他讀寫(按檔案部分內容鎖定),隨機讀寫,叢集複製等。
2)對叢集檔案的解析支援(包括按行,按分割符,按最後標識讀取)
3)對整形資料的高效能讀寫支援(ArrayInt比ArrayList存的更多更快)
4)兩階段提交和事務補償處理
5)自帶一個叢集檔案瀏覽器,可以檢視叢集所有硬碟上的檔案(不同於hadoop的namenode,沒有單點問題和容量限制)
總的來說,將叢集看做一個作業系統,像操作本地檔案一樣操作遠端檔案。
但是fourinone並不提供一個分散式儲存系統,比如檔案資料的匯入匯出、拆分儲存、負載均衡,備份容災等儲存功能,不過開發人員可以利用這些API去設計和實現這些功能,用來滿足自己的特定需求。
更多介紹請看使用指南:
一、如何搭建配置FttpAdapter環境
二、如何訪問叢集檔案根目錄
三、如何訪問和操作遠端檔案
四、如何進行叢集內檔案複製和並行複製
五、如何讀寫遠端檔案
六、如何解析遠端檔案
七、如何並行讀寫遠端檔案
八、如何批量並行讀寫遠端檔案和事務補償處理
3. 自動化class和jar包部署
class和jar包只需放在工頭機器上, 各工人機器會自動獲取並執行,相容作業系統,不需要進行安全金鑰複雜配置。
4. 網路波動狀況下的策略處理
設定搶救期,搶救期內網路穩定下來不判定結點死亡
下載地址:http://www.skycn.com/soft/68321.html
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/301743/viewspace-731898/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 分散式框架分散式框架
- [分散式][Redis]Redis分散式框架搭建與整合分散式Redis框架
- 框架篇:分散式鎖框架分散式
- 淘寶分散式訊息中介軟體Metaq 1.4.3分散式
- [分散式]--Dubbo分散式服務框架-服務治理分散式框架
- 分散式框架Dubbo入門分散式框架
- 分散式通訊框架 - rmi分散式框架
- 分散式通訊框架 – rmi分散式框架
- 分散式資料庫 RethinkDB 2.0 釋出分散式資料庫
- 分散式服務框架 gRPC分散式框架RPC
- .NET分散式框架 | Orleans 知多少分散式框架
- 微服務分散式企業框架微服務分散式框架
- 分散式服務框架 Zookeeper -- 管理分散式環境中的資料分散式框架
- 解密分散式事務框架-Fescar解密分散式框架
- 分散式流量控制框架sentinel初探分散式框架
- JEESZ分散式框架開發環境部署分散式框架開發環境
- Python 並行分散式框架 CeleryPython並行分散式框架
- 淘寶千萬級併發分散式架構的14次演進分散式架構
- 微軟的分散式應用框架 Dapr Helloworld微軟分散式框架
- 極簡,高效能分散式 PHP 框架分散式PHP框架
- lms框架分散式事務使用簡介框架分散式
- 框架篇:分散式全域性唯一ID框架分散式
- 阿里分散式事務框架 GTS 全解析阿里分散式框架
- 設計一個分散式RPC框架分散式RPC框架
- 微服務分散式事務Saga框架微服務分散式框架
- 分散式遊戲伺服器端框架 Firefly分散式遊戲伺服器框架
- 反思|分散式框架是必須的嗎?分散式框架
- Cacheonix:Java分散式叢集快取框架Java分散式快取框架
- Java 開源分散式快取框架EhcacheJava分散式快取框架
- 分散式服務框架開發筆記分散式框架筆記
- OAuth2.0分散式系統環境搭建OAuth分散式
- [原始碼解析] PyTorch 分散式(17) --- 結合DDP和分散式 RPC 框架原始碼PyTorch分散式RPC框架
- RPC框架/高效能遠端同步呼叫框架/分散式服務框架RPC框架分散式
- 初識分散式圖資料庫 Nebula Graph 2.0 Query Engine分散式資料庫
- Aloha:一個分散式任務排程框架分散式框架
- Feacar分散式事務框架簡單使用分散式框架
- 阿里分散式事務框架GTS開源啦!阿里分散式框架
- Schemata:分散式的資料結構建模框架分散式資料結構框架