原創文章，轉載請註明：轉載自Keegan小鋼 並標明原文連結：http://keeganlee.me/post/blockchain/20180313 微信訂閱號：keeganlee_me 寫於2018-03-13
專欄地址：xiaozhuanlan.com/fullstack
根據前一篇文章《從微觀到巨集觀理解區塊鏈》我們已經瞭解到，微觀上，區塊鏈本質就是一種不可篡改且可追蹤溯源的雜湊鏈條；巨集觀上，還具備了另外三個基本特徵：分散式儲存、P2P 網路和共識機制。分散式儲存無非就是網路上大部分節點都儲存了整條區塊鏈，這容易理解也不復雜，所以就沒必要再展開細講了。但區塊鏈的 P2P 網路和共識機制相對則複雜得多，因此我將用兩篇文章分別展開講講這兩部分內容，本篇文章就先來了解區塊鏈的 P2P 網路。
P2P 網路
由於大部分人對 P2P 網路瞭解甚少，因此有必要先聊聊 P2P 網路的一些基本原理。這個章節的內容主要來自**《P2P對等網路原理與應用》**這本書，這本書較為系統地介紹了 P2P 的理論基礎，非常適合希望全面掌握 P2P 知識的初級讀者，建議大夥都可以看看。
P2P 網路不同於傳統的客戶端/服務端(client/server,C/S)結構，P2P 網路中的每個節點都可以既是客戶端也是服務端，因此也不適合使用 HTTP 協議進行節點之間的通訊，一般都是直接使用 Socket 進行網路程式設計。
P2P 主要存在四種不同的網路模型，也代表著 P2P 技術的四個發展階段：集中式、純分散式、混合式和結構化模型。不過需要指出的是，這裡所說的網路模型主要是指路由查詢結構，即不同節點之間如何建立連線通道，兩個節點之間一旦建立連線，具體傳輸什麼資料則是兩個節點之間的事情了。
最簡單的路由方式就是集中式，即存在一箇中心節點儲存了其他所有節點的索引資訊，索引資訊一般包括節點 IP 地址、埠、節點資源等。集中式路由的優點就是結構簡單、實現容易。但缺點也很明顯，由於中心節點需要儲存所有節點的路由資訊，當節點規模擴充套件時，就很容易出現效能瓶頸；而且也存在單點故障問題。
那第二種路由結構則是純分散式的，移除了中心節點，在 P2P 節點之間建立隨機網路，就是在一個新加入節點和 P2P 網路中的某個節點間隨機建立連線通道，從而形成一個隨機拓撲結構。新節點加入該網路的實現方法也有很多種，最簡單的就是隨機選擇一個已經存在的節點並建立鄰居關係。像比特幣的話，則是使用 DNS 的方式來查詢其他節點，DNS 一般是硬編碼到程式碼裡的，這些 DNS 伺服器就會提供比特幣節點的 IP 地址列表，從而新節點就可以找到其他節點建立連線通道。新節點與鄰居節點建立連線後，還需要進行全網廣播，讓整個網路知道該節點的存在。全網廣播的方式就是，該節點首先向鄰居節點廣播，鄰居節點收到廣播訊息後，再繼續向自己的鄰居節點廣播，以此類推，從而廣播到整個網路。這種廣播方法也稱為泛洪機制。純分散式結構不存在集中式結構的單點效能瓶頸問題和單點故障問題，具有較好的可擴充套件性，但泛洪機制引入了新的問題，主要是可控性差的問題，包括兩個較大的問題，一是容易形成泛洪迴圈，比如節點 A 發出的訊息經過節點 B 到 節點 C，節點 C 再廣播到節點 A，這就形成了一個迴圈；另一個棘手問題則是響應訊息風暴問題，如果節點 A 想請求的資源被很多節點所擁有，那麼在很短時間內，會出現大量節點同時向節點 A 傳送響應訊息，這就可能會讓節點 A 瞬間癱瘓。
再來看看第三種路由結構：混合式。混合式其實就是混合了集中式和分散式結構，如下圖所示，網路中存在多個超級節點組成分散式網路，而每個超級節點則有多個普通節點與它組成區域性的集中式網路。一個新的普通節點加入，則先選擇一個超級節點進行通訊，該超級節點再推送其他超級節點列表給新加入節點，加入節點再根據列表中的超級節點狀態決定選擇哪個具體的超級節點作為父節點。這種結構的泛洪廣播就只是發生在超級節點之間，就可以避免大規模泛洪存在的問題。在實際應用中，混合式結構是相對靈活並且比較有效的組網架構，實現難度也相對較小，因此目前較多系統基於混合式結構進行開發實現。其實，比特幣網路如今也是這種結構，後面再細說。
最後一種網路則是結構化 P2P 網路，它也是一種分散式網路結構，但與純分散式結構不同。純分散式網路就是一個隨機網路，而結構化網路則將所有節點按照某種結構進行有序組織，比如形成一個環狀網路或樹狀網路。而結構化網路的具體實現上，普遍都是基於 **DHT(Distributed Hash Table，分散式雜湊表) **演算法思想。DHT 只是提出一種網路模型，並不涉及具體實現，主要想解決如何在分散式環境下快速而又準確地路由、定位資料的問題。具體的實現方案有 Chord、Pastry、CAN、Kademlia 等演算法，其中 Kademlia 也是以太坊網路的實現演算法，很多常用的 P2P 應用如 BitTorrent、電驢等也是使用 Kademlia。因為篇幅有限，就不展開講這些演算法的具體原理了。目前，我們主要理解 DHT 的核心思想即可。
在 P2P 網路中，可以抽象出兩種空間：資源空間和節點空間。資源空間就是所有節點儲存的資源集合，節點空間就是所有節點的集合。對所有資源和節點分別進行編號，如把資源名稱或內容用 Hash 函式變成一個數值（這也是 DHT 常用的一種方法），這樣，每個資源就有對應的一個 ID，每個節點也有一個 ID，資源 ID 和節點 ID 之間建立起一種對映關係，比如，將資源 n 的所有索引資訊存放到節點 n 上，那要搜尋資源 n 時，只要找到節點 n 即可，從而就可以避免泛洪廣播，能更快速而又準確地路由和定位資料。當然，在實際應用中，資源 ID 和節點 ID 之間是無法做到一一對應的，但因為 ID 都是數字，就存在大小關係或偏序關係等，基於這些關係就能建立兩者的對映關係。這就是 DHT 的核心思想。DHT 演算法在資源編號和節點編號上就是使用了分散式雜湊表，使得資源空間和節點空間的編號有唯一性、均勻分散式等較好的性質，能夠適合結構化分散式網路的要求。
綜上，這就是 P2P 網路的一點理論基礎，不同的區塊鏈可能會使用不一樣的網路模型，但基本原理是一樣的。後面分別講解下最有代表性的兩個區塊鏈的網路：比特幣網路和以太坊網路。
比特幣網路
首先，比特幣網路中的節點主要有四大功能：錢包、挖礦、區塊鏈資料庫、網路路由。每個節點都會具備路由功能，但其他功能不一定都具備，不同型別的節點可能只包含部分功能，一般只有**比特幣核心(bitcoin core)**節點才會包含所有四大功能。
所有節點都會參與校驗和廣播交易及區塊資訊，且會發現和維持與其他節點的連線。有些節點會包含完整的區塊鏈資料庫，包括所有交易資料，這種節點也稱為全節點(Full Node)。另外一些節點只儲存了區塊鏈資料庫的一部分，一般只儲存區塊頭而不儲存交易資料，它們會通過“簡化交易驗證(SPV)”的方式完成交易校驗，這樣的節點也稱為 SPV節點或輕節點(Lightweight Node)。錢包一般是 PC 或手機客戶端的功能，使用者通過錢包檢視自己的賬戶金額、管理錢包地址和私鑰、發起交易等。除了比特幣核心錢包是全節點之外，大部分錢包都是輕節點。挖礦節點則通過解決工作量證明(PoW)演算法問題，與其他挖礦節點相互競爭建立新區塊。有些挖礦節點同時也是全節點，即也儲存了完整的區塊鏈資料庫，這種節點一般都是獨立礦工(Solo Miner)。還有一些挖礦節點不是獨立挖礦的，而是和其他節點一起連線到礦池，參與集體挖礦，這種節點一般也稱為礦池礦工(Pool Miner)。這會形成一個區域性的集中式礦池網路，中心節點是一個礦池伺服器，其他挖礦節點全部連線到礦池伺服器。礦池礦工和礦池伺服器之間的通訊也不是採用標準的比特幣協議，而是使用礦池挖礦協議，而礦池伺服器作為一個全節點再與其他比特幣節點使用主網路的比特幣協議進行通訊。
在整個比特幣網路中，除了不同節點間使用比特幣協議作為通訊協議的主網路，也存在很多擴充套件網路，包括上面提到的礦池網路。不同的礦池網路可能還會使用不同的礦池挖礦協議，目前主流的具體礦池協議應該是 Stratum協議，該協議除了支援挖礦節點，也支援瘦客戶端錢包。一個包含了比特幣協議主網路各種節點和 Stratum 網路，以及其他礦池網路的擴充套件比特幣網路大概如下圖所示：
另外，挖礦這塊還有特殊需求。我們知道，礦工建立新區塊後，是需要廣播給全網所有節點的，當全網都接受了該區塊，給礦工的挖礦獎勵才算是有效的，這之後才好開始下一個區塊 Hash 的計算。所以礦工必須最大限度縮短新區塊的廣播和下一個區塊 Hash 計算之間的時間。如果礦工之間傳播區塊只採用上圖所示的比特幣協議網路，那無疑會有很高的網路延遲，所以，需要一個專門的傳播網路用來加快新區塊在礦工之間的同步傳播，這個專門網路也叫比特幣傳播網路或比特幣中繼網路(Bitcoin Relay Network)。
以太坊網路
和比特幣一樣，以太坊的節點也具備錢包、挖礦、區塊鏈資料庫、網路路由四大功能，也同樣存在很多不同型別的節點，除了主網路之外也同樣存在很多擴充套件網路。但與比特幣不同的，比特幣主網的 P2P 網路是無結構的，但以太坊的 P2P 網路是有結構的。前面我們已經提過，以太坊的 P2P 網路主要採用了 Kademlia(簡稱 Kad) 演算法實現，Kad 是一種**分散式雜湊表(DHT)**技術，使用該技術，可以實現在分散式環境下快速而又準確地路由、定位資料的問題。所以，下面主要講解下以太坊的 Kad 網路。
在 Kad 網路中，每個節點都具有一個唯一的節點 ID。另外，也會計算不同節點之間的距離，但這個距離不是物理上的距離，而是邏輯上的距離，是通過對兩個節點 ID 進行 異或(符號為^) 計算得到的，即 A、B 兩節點之間的距離的計算公式為：D(A,B) = A.ID^B.ID。異或有一個重要的性質：假設 a、b、c 為任意三個數，如果 a^b = a^c 成立，那就一定 b = c。因此，如果給定一個結點 a 和距離 L，那就有且僅有一個結點 b, 會使得 D(a,b) = L。通過這種方式，就能有效度量 Kad 網路中不同節點之間的邏輯距離。
在異或距離度量的基礎上，Kad 還可以將整個網路拓撲組織成如下圖所示的一個二叉字首樹，每個 NodeID 會對映到二叉樹上的某個葉子。
對映規則主要是：
- 將 NodeID 以二進位制形式表示，然後從高到低對每一位的 0 或 1 依次處理；
- 二進位制的第 n 位就對應了二叉樹的第 n 層；
- 如果該位是 0，進入左子樹，是 1 則進入右子樹（反過來也可以）；
- 全部位都處理完後，這個 NodeID 就對應了二叉樹上的某個葉子。
在這種二叉樹結構下，對每個節點來說，離它越近的節點異或距離也是越近的。接著，可以按照離自己異或距離的遠近，對整顆二叉樹進行拆分。拆分規則是：從根節點開始，將不包括自己的那顆子樹拆分出來，然後在包含自己的子樹中，把不包括自己的下一層子樹再拆分出來，以此類推，直到只剩下自己。以上圖的 110 節點為例，從根節點開始，由於 110 節點在右子樹，所以將左邊的整顆子樹拆分出來，即包含 000、001、010 這三個節點的這顆子樹；接著，到第二層子樹，將不包含 110 節點的左子樹再拆分出來，即包含 100 和 101 這兩個節點的子樹；最後，再將 111 拆分出來。這樣，就將 110 節點之外的整個二叉樹拆分出了三顆子樹。
完成子樹拆分後，只要知道每個子樹裡面的其中一個節點，就可以進行遞迴路由實現整顆二叉樹所有節點的遍歷。但在實際場景下，由於節點是動態變化的，所以一般不會只知道每個子樹的一個節點，而是需要知道多個節點。因此，Kad 中有一個叫 K-桶(K-bucket)的概念，每個桶會記錄每顆子樹裡所知道的多個節點。其實，一個K-桶就是一張路由表，如果拆分出來有 m 顆子樹，那對應節點就需要維護 m 個路由表。每個節點都會各自維護自己的 m 個 K-桶，每個 K-桶裡記錄的節點資訊一般會包括 NodeID、IP、Endpoint、與 Target 節點（即維護該 K-桶的節點）的異或距離等資訊。以太坊中，每個節點維護的 K-桶數量為 256 個，這 256 個 K-桶會根據與 Target 節點的異或距離進行排序，每個 K-桶儲存的節點數量上限是 16。
在以太坊的 Kad 網路中，節點之間的通訊是基於 UDP 的，另外設定了 4 個主要的通訊協議：
- Ping：用於探測一個節點是否線上
- Pong：用於響應 Ping 命令
- FindNode：用於查詢與 Target 節點異或距離最近的其他節點
- Neighbours：用於響應 FindNode 命令，會返回一或多個節點
通過以上 4 個命令，就可以實現新節點的加入、K-桶的重新整理等機制。具體的實現流程就不細講了，留給大夥自己去思考。
總結
不同結構的 P2P 網路，會有不同的優點和缺點。比特幣網路的結構明顯容易理解，實現起來也相對容易得多，而以太坊網路引入了異或距離、二叉字首樹、K-桶等，結構上覆雜不少，但在節點路由上的確會比比特幣快很多。另外，不管是比特幣還是以太坊，其實都只是一種或多種協議的集合，不同節點其實可以用不同的具體實現，比如，比特幣就有用 C++ 實現的 Bitcoin Core，還有用 Java 實現的 BitcoinJ；以太坊也有用 Go 語言實現的 go-ethereum，也有用 C++ 實現的 go-ethereum，還有用 Java 實現的 Ethereum(J)。
思考和實踐
在以太坊的 Kad 網路中，新節點的加入和 K-桶的重新整理流程是怎樣的？比特幣的新節點加入流程又是怎樣的？雜湊表有哪些實現方式？
掃描以下二維碼即可關注訂閱號。