我對分散式計算框架的理解與設計

xiaofei發表於2017-12-14

謝謝大家來看這篇文章，我想花點時間分享一下我對分散式計算的理解。
分散式服務有很多，比如hbase, hadoop, spark等，我所要講述的重點不是這些服務的原理，而是用更淺顯的話講述更深刻的設計。
如何把多個的機器組合起來完成一件簡單的計算任務，所以這方面的架構設計更多的關注伺服器間的關係。
下面我們來設計一個框架，以進行簡單的分散式計算。
我們假設計算目標有三類：
1.分佈計算能力，簡單多節點計算，計算1萬以內的質數。
2.map-reduce，以wordcount為例。
3.資源查詢，分散式查詢資料庫

模組設計

在架構上，可以將服務中的伺服器分三個模組：

模組	含義
config	配置服務
server	對外介面服務
service	工作服務（worker)

我想讓service接受請求，server進行計算，流程會是怎麼的呢。

流程設計

一條簡單的請求過來，可能經過的處理過程：

實際的處理比這個要複雜，比如請求過期處理等。

抽象設計

在框架內通個上，service與server都會向config註冊，通訊以及獲取節點情況等，因此會有很多
相似的邏輯實現，所以很自然地，我把節點的關係重新定義為 config-node

為了簡單處理，抽象了一個node，service與server共同繼承node, 由node負責與config通訊。

功能設計

config在框架裡起到分配資源與註冊服務的功能。

node功能

整體功能

下面我將對系統設計的協議進行設計。

協議設計

為了簡單方便，我將模組間的通訊採用protobuf。
（實際上在通用對外服務是不能用protobuf的，請大家思考為什麼。）

config:

message ConfigRequest{
    optional ConfigAuthReq auth= 1;
    optional ConfigGetNodesReq get_nodes= 2;
}
message ConfigResponse{
    optional ConfigAuthRsp auth = 1;
    optional ConfigGetNodesRsp  get_nodes= 2;
    optional ConfigNotifyNodes  notify_nodes= 3;
}

server

message ServerRequest{
    required ServerDiag               diags = 1;
    required ServerDiagNodeType       diag_type = 2;
 
    optional ServerAuthReq            auth = 3;
     
    optional PrimeQueryReq            prime = 4;
    optional ServerWordCountReq       wc = 5;
    optional ServerQueryReq           query = 6;
    optional ServerBGReq              bg = 7;
 
}
 
message ServerResponse{
    optional ServerAuthRsp               auth = 1;
    optional PrimeQueryRsp               prime = 2;
    optional ServerWordCountRsp          wc = 3;
    optional ServerQueryRsp              query = 4;
    optional ServerBGResponse            bg = 5;
}

下面來定義我們的程式碼結構

程式碼架構

下面的程式碼架構主要爭對config-node而設計。
config請求處理：

class Config{
  public:
     void OnRequest(const TcpConnPtr& con, ConfigRequest& request);
}

相應的node介面

  class Node{
  protected:
      virtual void onConfigResponse(const TcpConnPtr& con,ConfigResponse& response);
 
  protected:
      void sendToConfig(const TcpConnPtr& con,ConfigResponse& response);
};

service與server繼承node後實現onConfigResponse即可。