區塊鏈架構設計

天府雲創發表於2018-03-15

從概念到底層技術,一文看懂區塊鏈架構設計(附知識圖譜)

前言

 

區塊鏈作為一種架構設計的實現,與基礎語言或平臺等差別較大。區塊鏈是加密貨幣背後的技術,是當下與VR虛擬現實等比肩的熱門技術之一,本身不是新技術,類似Ajax,可以說它是一種技術架構,所以我們從架構設計的角度談談區塊鏈的技術實現。

無論你擅長什麼程式語言,都能夠參考這種設計去實現一款區塊鏈產品。與此同時,梳理與之相關的知識圖譜和體系,幫助大家系統的去學習研究。

 

基本概念

 

區塊鏈的概念最近很火,它來自於比特幣等加密貨幣的實現,但是目前,這項技術已經逐步運用在各個領域。什麼是區塊鏈技術?為了感性認識這個問題,我們可以使用谷歌地球的例子做類比,ajax不是什麼新技術,但組合在一起就成就了產品谷歌地球,與之類似,區塊鏈也不是什麼新技術,但與加密解密技術、P2P網路等組合在一起,就誕生了比特幣。技術人員,特別是Web開發工程師,學習瞭解ajax技術最早是被谷歌地球酷炫的效果所吸引。而現在,歷史再一次重演,很多人被比特幣的瘋狂發展所吸引,進而開始研究其背後的技術——區塊鏈。

區塊鏈原本是比特幣等加密貨幣儲存資料的一種獨特方式,是一種自引用的資料結構,用來儲存大量交易資訊,每條記錄從後向前有序連結起來,具備公開透明、無法篡改、方便追溯的特點。實際上,這種特性也直接體現了整個比特幣的特點,因此使用區塊鏈來概括加密貨幣背後的技術實現是非常直觀和恰當的。區塊鏈是一項技術,加密貨幣是其開發實現的一類產品(含有代幣,也有不含代幣的區塊鏈產品),不能等同或混淆。與加密貨幣相比,區塊鏈這個名字拋開了代幣的概念,更加形象化、技術化、去政治化,更適合作為一門技術去研究、去推廣。

所以,目前當大家單獨說到區塊鏈的時候,就是指的區塊鏈技術,是實現了資料公開、透明、可追溯的產品的架構設計方法,算作廣義的區塊鏈。而當在具體產品中談到區塊鏈的時候,可以指類似比特幣的資料儲存方式,或許是資料庫設計,或許是檔案形式的設計,這算作狹義的區塊鏈。廣義的區塊鏈技術,必須包含點對點網路設計、加密技術應用、分散式演算法的實現、資料儲存技術的使用等4個方面,其他的可能涉及到分散式儲存、機器學習、VR、物聯網、大資料等。狹義的區塊鏈僅僅涉及到資料儲存技術,資料庫或檔案操作等。本文的區塊鏈,指的是廣義的區塊鏈。

 

架構圖

 

從架構設計上來說,區塊鏈可以簡單的分為三個層次,協議層、擴充套件層和應用層。其中,協議層又可以分為儲存層和網路層,它們相互獨立但又不可分割。如圖:

blockchain_overview

 

協議層

 

所謂的協議層,就是指代最底層的技術。這個層次通常是一個完整的區塊鏈產品,類似於我們電腦的作業系統,它維護著網路節點,僅提供Api供呼叫。通常官方會提供簡單的客戶端(通稱為錢包),這個客戶端錢包功能也很簡單,只能建立地址、驗證簽名、轉賬支付、檢視餘額等。這個層次是一切的基礎,構建了網路環境、搭建了交易通道、制定了節點獎勵規則,至於你要交易什麼,想幹什麼,它一概不過問,也過問不了。典型的例子,自然是比特幣,還有各種二代幣,比如萊特幣等,本書介紹的億書幣也是。這個層次,是現階段開發者聚集的地方,這說明加密貨幣仍在起步當中。

從用到的技術來說,協議層主要包括網路程式設計、分散式演算法、加密簽名、資料儲存技術等4個方面,其中網路程式設計能力是大家選擇程式語言的主要考慮因素,因為分散式演算法基本上屬於業務邏輯上的實現,什麼語言都可以做到,加密簽名技術是直接簡單的使用(請看書中相關的加密解密文章,不建議自由發揮,沒有過多的編碼邏輯),資料庫技術也主要在使用層面,只有點對點網路的實現和併發處理才是開發的難點,所以對於那些網路程式設計能力強,對併發處理簡單的語言,人們就特別偏愛。也因此,Nodejs開發區塊鏈應用,逐漸變得更加流行,Go語言也在逐漸興起。

上面的架構設計圖裡,我把這個層面進一步分成了儲存層和網路層。資料儲存可以相對獨立,選擇自由度大一些,可以單獨來討論。選擇的原則無非是效能和易用性。我們知道,系統的整體效能,主要取決於網路或資料儲存的I/O效能,網路I/O優化空間不大,但是本地資料儲存的I/O是可以優化的。比如,比特幣選擇的是谷歌的LevelDB,據說這個資料庫讀寫效能很好,但是很多功能需要開發者自己實現。目前,困擾業界的一個重大問題是,加密貨幣交易處理量遠不如現在中心化的支付系統(銀行等),除了I/O,需要全方位的突破。

分散式演算法、加密簽名等都要在實現點對點網路的過程中加以使用,所以自然是網路層的事情,也是編碼的重點和難點,《Nodejs開發加密貨幣》全書分享的基本上就是這部分的內容。當然,也有把點對點網路的實現單獨分開的,把節點查詢、資料傳輸和驗證等邏輯獨立出來,而把共識演算法、加密簽名、資料儲存等操作放在一起組成核心層。無論怎麼組合,這兩個部分都是最核心、最底層的部分,都是協議層的內容。

 

擴充套件層

 

這個層面類似於電腦的驅動程式,是為了讓區塊鏈產品更加實用。目前有兩類,一是各類交易市場,是法幣兌換加密貨幣的重要渠道,實現簡單,來錢快,成本低,但風險也大。二是針對某個方向的擴充套件實現,比如基於億書側鏈,可為第三方出版機構、論壇網站等內容生產商提供定製服務等。特別值得一提的就是大家聽得最多的“智慧合約”的概念,這是典型的擴充套件層面的應用開發。所謂“智慧合約”就是“可程式設計合約”,或者叫做“合約智慧化”,其中的“智慧”是執行上的智慧,也就是說達到某個條件,合約自動執行,比如自動轉移證券、自動付款等,目前還沒有比較成型的產品,但不可否認,這將是區塊鏈技術重要的發展方向。

擴充套件層使用的技術就沒有什麼限制了,可以包括很多,上面提到的分散式儲存、機器學習、VR、物聯網、大資料等等,都可以使用。程式語言的選擇上,可以更加自由,因為可以與協議層完全分離,程式語言也可以與協議層使用的開發語言不相同。在開發上,除了在交易時與協議層進行互動之外,其他時候儘量不要與協議層的開發混在一起。這個層面與應用層更加接近,也可以理解為B/S架構的產品中的服務端(Server)。這樣不僅在架構設計上更加科學,讓區塊鏈資料更小,網路更獨立,同時也可以保證擴充套件層開發不受約束。

從這個層面來看,區塊鏈可以架構開發任何型別的產品,不僅僅是用在金融行業。在未來,隨著底層協議的更加完善,任何需要第三方支付的產品都可以方便的使用區塊鏈技術;任何需要確權、徵信和追溯的資訊,都可以藉助區塊鏈來實現。我個人覺得,這個目標應該很快就能實現。

 

應用層

 

這個層面類似於電腦中的各種軟體程式,是普通人可以真正直接使用的產品,也可以理解為B/S架構的產品中的瀏覽器端(Browser)。這個層面的應用,目前幾乎是空白。市場亟待出現這樣的應用,引爆市場,形成真正的擴張之勢,讓區塊鏈技術快速走進尋常百姓,服務於大眾。大家使用的各類輕錢包(客戶端),應該算作應用層最簡單、最典型的應用。很快,億書將基於億書網路推出文件協作工具,這個就是典型的應用層的產品。

限於當前區塊鏈技術的發展,億書只能從協議層出發,把目標指向應用層,同時為第三方開發者提供擴充套件層的強大支援。這樣做既可以避免貪多,又可以避免無法落地,是真正理性的開發路線。因為純粹的開發協議層或擴充套件層,無法真正理解和驗證應用層,會脫離實際,讓第三方開發者很難使用。如果僅僅考慮應用層,市面上又找不到真正牢固、易用的協議層或擴充套件層的產品。所以,我們只好全面發力,採取完全開源開放的態度,通過社群的力量,共同去做一件有意義的事情,也算為中國區塊鏈技術發展做點技術積累和微薄貢獻。

 

程式設計實現

 

很多小夥伴,習慣結合自己的技術背景,來理解上面的架構設計。這裡,結合具體的程式語言,簡單介紹幾款產品,僅供參考。

(1)C/C++

這兩個語言是無法逾越的,任何開發遇到瓶頸,基本上都會找到它們,自然應該排在第一位要介紹的。同時,區塊鏈技術的鼻祖,比特幣(協議層)就是用C++語言開發的,而且目前為止,沒有比比特幣更加成功的區塊鏈產品。所以,無論你使用什麼語言開發,在正式進入這個行業的過程中,都應該先研究研究比特幣。比特幣官方客戶端錢包用的Qt,第三方錢包有Python語言開發的,特別是第三方整理的開發庫(Api包)很多是Nodejs設計的。比特幣的架構,與上面的架構設計基本相同,另外,因為共識演算法採用的是工作量證明機制(PoW:Proof of work),還有一些特殊的挖礦的過程。其他競爭幣都是直接來自比特幣的分支,所以程式語言相同,具體的技術選型和技術實現上可能有所改進,比如:萊特幣,使用了其他的加密演算法。

官方網站:https://bitcoin.org/

原始碼庫:https://github.com/bitcoin
(2)Nodejs/Javascript

Nodejs平臺強大的網路程式設計能力,以及js指令碼語言的簡單快捷,在區塊鏈領域自然少不了它的身影。億書便是這樣一個區塊鏈產品,億書幣是它的協議層,使用了著名的express開發框架,基於http協議開發而成。同時,它採用了授權股權證明機制(DPoS),演算法上的改進,讓它在處理交易時更加輕量,處理能力大大提升。它提供了強大的協作機制,為數字出版、版權保護提供了便利;擴充套件了側鏈功能,可以基於它開發任何去中心化的應用,從而為專業作者、部落格愛好者和開發者提供很多方便。《Nodejs開發加密貨幣》這本書完整分享了它的原始碼,從區塊鏈基礎概念到程式碼實現,從基本原理到開發設計思路,都做了比較詳細的探索,目前為止,從協議層面深入程式碼講解區塊鏈技術實現的書籍極少,這算作一本。

官方網站:http://ebookchain.org/

原始碼庫:https://github.com/Ebookcoin
(3)Python

如果是Python語言愛好者,我建議研究研究以太坊(Ethereum)的Python實現。儘管因為The Dao事件鬧得沸沸揚揚,但從技術實現的角度來說,仍然值得參考學習。以太坊官方定位為一種開發管理分散式應用的平臺,主攻方向就是“智慧合約”,併為其定製了一種程式語言Solidity。以太坊的核心是以太坊虛擬機器(EVM),允許使用者按照自己的意願建立操作。以太坊給出了Go、Java、Python等多語言的實現。其中以python為基礎的實現主要包括三個部分:Pyethapp是客戶端部分;pyethereum是核心庫,實現了區塊鏈、以太坊模擬機和挖礦等功能;pydevp2p是點對點網路庫,實現了節點發現、合約程式碼傳輸、加密簽名等功能,這三者組合在一起就是完整的區塊鏈實現,後面兩個核心庫共同組成了協議層。另外,go-ethereum是go語言的完整實現;Ethereum(J) 是純Java實現,它作為可以嵌入任何Java/Scala專案的庫提供。客戶端方面,還有Rust、Ruby、Javascript等語言的實現。

官方網站:https://ethereum.org/

原始碼庫:https://github.com/ethereum/pyethapp
(4)Go

在多核時代,Go語言備受喜愛,它可以讓你用同步方式輕鬆實現高併發,特別是在分散式系統、網路程式設計等領域,應用非常廣。所以,在區塊鏈開發領域,也有很多使用Go語言的專案。其中,由linux基金會主導的超級賬本(HyperLeger),版本庫的名字叫Fabric,就是其中一個。該專案試圖為新一代的事務應用建立一種開放的分散式賬本標準,支援許可式區塊鏈(這種方式可能無法再現比特幣那種強大的網路效應)。Fabric的開發環境建立在VirtualBox虛擬機器上,部署環境可以自建網路,也可以直接部署在BlueMix上,部署方式可docker化,支援用Go和JavaScript開發智慧合約。它採用PBFT分散式演算法,網路程式設計方面用gRPC來做P2P通訊,使用 Protocol Buffer來序列化要傳遞的資料結構。在架構設計上,Fabric可能與比特幣等區塊鏈產品有所不同,但是上述基本組成部分還是不可或缺的。

官方網站:https://www.hyperledger.org/

原始碼庫:https://github.com/hyperledger
其他程式語言,比如:C#等,也有具體例項,這裡就不再列舉。總之,針對不同的程式語言,在具體的編碼或架構設計上可能有所差別,甚至很大,但是協議層所使用的技術並沒有太大的變化。其中,網路程式設計是重點和難點,多數沒有現成的框架可用,都是使用程式語言自身提供的庫來設計開發,所以比較底層,非常考驗開發者的編碼功底。

 

知識圖譜

 

循著上面的分析,我們已經可以瞭解區塊鏈是什麼,並知道怎麼實現了,順便梳理一下其中的程式設計技術知識,自然也就清晰多了。

blockchain-lib

根據個人的理解,我把與區塊鏈相關的知識分為下面5個方面:

(1)基礎知識

區塊鏈是新技術,與之相關的是其背後大量的新概念、新理論。這些知識,雖然不直接體現在編碼裡,但卻是理解區塊鏈,掌握區塊鏈技術的基本知識。所以,理當成為區塊鏈技術不可或缺的一部分。這部分從基本概念入手,到工作原理的描述,就能夠把區塊鏈基礎知識全部覆蓋。

(2)技術實現

區塊鏈是一項技術,但從上面的分析可以看出,它應該是一種架構應用,架構的實現理當是我們知識庫的核心。正如大家看到的,任何一款區塊鏈產品,協議層必須包括點對點網路、加密簽名、資料儲存、分散式演算法等4個部分,應用層也必然要提供錢包、客戶端瀏覽器等基礎應用。所以,把這部分獨立出來,也是合情合理。

在擴充套件層的部分,區塊鏈技術可以對接各種應用,比如:金融、物聯網、網路安全、版權保護、電子商務等等,現有的很多技術都可以用在這裡。只不過,如何與區塊鏈結合,如何實現跨行業使用,自然是這部分內容研究的課題。所以,這裡所羅列或涉及到的技術,理應歸為技術實現的一個重要部分。

(3)開發環境

區塊鏈是多項技術的組合,有其自身的複雜性,個別應用對開發環境依賴較大,開發工具與環境搭建,是讓開發者快速上手的重要內容。

(4)專案實踐

據說,短短數年,全球區塊鏈產品已經有幾千個,其中不乏創新應用。有些優秀的開源產品和專案實踐,是最好的學習研究資料。

(5)開發文件

這個自然不用說了,每一種產品也都會有自己的開發文件。另一個,就是有心的開發者整理彙總的一些資源,可以幫助我們節省很多查詢的時間。

我在考慮這個知識體系的過程中,主要思考的是,讀者循著這些標籤去查閱文章,能否快速掌握區塊鏈技術,並最終上手開發實現一個區塊鏈產品。另外,也刻意規避了與具體程式語言,以及特定領域相關的詞彙,唯一可以區分的就是這些節點之下對應的文章標籤。所以,這些分類就顯得非常中性。也考慮過使用比特幣、競爭幣、智慧合約、數字資產、智慧資產等具體領域的實現作為分類方法,但又怕限制了讀者的思維,同時隨著區塊鏈的發展,這個圖譜將不停的修改下去。這裡,呼籲一下,希望讀到這篇文章的小夥伴提供您的寶貴意見,讓我們把這個關於區塊鏈的知識分類圖譜做得更加科學合理,使用更加方便。

 

總結

 

這篇文章,我們把區塊鏈技術基礎架構描述了一下,需要再次強調的是,這僅僅是一種實現方式,絕非所有的區塊鏈產品都是如此,我們也期待更多創新出現,也相信一定會出現。程式設計實現羅列了幾種程式語言與其實現的典型產品,因為協議層技術較為底層,並沒有太多現成的框架需要介紹或討論,同時,具體的技術細節,也絕非幾行字能夠羅列清楚,所幸,這些產品都是開源產品,大家可以結合自己的技術背景,進一步檢視對應的產品原始碼,很快就能瞭解其中的奧妙。


相關文章