Java應用架構的演化之路

bbear發表於2016-04-20

當我們架設一個系統的時候通常需要考慮到如何與其他系統互動,所以我們首先需要知道各種系統之間是如何互動的,使用何種技術實現。

1. 不同系統不同語言之間的互動

現在我們常見的不同系統不同語言之間的互動使用WebService,Http請求。WebService,即“Web 服務”,簡寫為 WS。從字面上理解,它其實就是“基於 Web 的服務”。而服務卻是雙方的,有服務需求方,就有服務提供方。服務提供方對外發布服務,服務需求方呼叫服務提供方所釋出的服務。如果說得再專業一點,WS 其實就是建立在 HTTP 協議上實現異構系統通訊的工具。沒錯!WS 說白了還是基於 HTTP 協議的,也就是說,資料是通過 HTTP 進行傳輸的。最早我們是用CXF開發SOAP服務實現WS,後面我們是用REST服務實現WS(這個目前使用比較多,也最我用得最多的這一種)。基於CXF也可以開發REST服務,不過我們一般直接使用springMVC或者其他MVC框架實現REST服務。

但是在很多人的印象中Web service的話一般指十來年前IBM主導的基於XML的各種互動技術,現在除了一些公司在用之外用得人也很少了。廣義的話Webservice就是Web 服務了,一切皆服務。

2. 不同系統相同語言之間的互動

常見的不同系統相同語言之間的互動用RPC(遠端過程呼叫),或者RMI(遠端方法呼叫)實現,不用對外部提供服務,當然上面說的也可以使用在相同語言之間的互動,只是我常用的是RPC。

不同產品的架構

3. 單個產品的架構演進

一般我們只是一個產品的情況下的架構演進歷程,如果需要對外提供webService,通常使用REST服務實現。

以下一段內容來源於知乎

1. 分散式架構的演進系統架構演化歷程-初始階段架構

初始階段 的小型系統 應用程式、資料庫、檔案等所有的資源都在一臺伺服器上通俗稱為LAMP

特徵:應用程式、資料庫、檔案等所有的資源都在一臺伺服器上。

描述:通常伺服器作業系統使用linux,應用程式使用PHP開發,然後部署在Apache上,資料庫使用Mysql,彙集各種免費開源軟體以及一臺廉價伺服器就可以開始系統的發展之路了。

2. 系統架構演化歷程-應用服務和資料服務分離

好景不長,發現隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver

特徵:應用程式、資料庫、檔案分別部署在獨立的資源上。

描述:資料量增加,單臺伺服器效能及儲存空間不足,需要將應用和資料分離,併發處理能力和資料儲存空間得到了很大改善。

3. 系統架構演化歷程-使用快取改善效能

特徵:資料庫中訪問較集中的一小部分資料儲存在快取伺服器中,減少資料庫的訪問次數,降低資料庫的訪問壓力。

描述:系統訪問特點遵循二八定律,即80%的業務訪問集中在20%的資料上。快取分為本地快取和遠端分散式快取,本地快取訪問速度更快但快取資料量有限,同時存在與應用程式爭用記憶體的情況。

4. 系統架構演化歷程-使用應用伺服器叢集

在做完分庫分表這些工作後,資料庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了,突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先檢視資料庫,壓力一切正常,之後檢視webserver,發現apache阻塞了很多的請求,而應用伺服器對每個請求也是比較快的,看來 是請求數太高導致需要排隊等待,響應速度變慢

特徵:多臺伺服器通過負載均衡同時向外部提供服務,解決單臺伺服器處理能力和儲存空間上限的問題。

描述:使用叢集是系統解決高併發、海量資料問題的常用手段。通過向叢集中追加資源,提升系統的併發處理能力,使得伺服器的負載壓力不再成為整個系統的瓶頸。

5. 系統架構演化歷程-資料庫讀寫分離

享受了一段時間的系統訪問量高速增長的幸福後,發現系統又開始變慢了,這次又是什麼狀況呢,經過查詢,發現資料庫寫入、更新的這些操作的部分資料庫連線的資源競爭非常激烈,導致了系統變慢

特徵:多臺伺服器通過負載均衡同時向外部提供服務,解決單臺伺服器處理能力和儲存空間上限的問題。

描述:使用叢集是系統解決高併發、海量資料問題的常用手段。通過向叢集中追加資源,使得伺服器的負載壓力不在成為整個系統的瓶頸。

6. 系統架構演化歷程-反向代理和CDN加速

特徵:採用CDN和反向代理加快系統的 訪問速度。

描述:為了應付複雜的網路環境和不同地區使用者的訪問,通過CDN和反向代理加快使用者訪問的速度,同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是快取。

7. 系統架構演化歷程-分散式檔案系統和分散式資料庫

隨著系統的不斷執行,資料量開始大幅度增長,這個時候發現分庫後查詢仍然會有些慢,於是按照分庫的思想開始做分表的工作

特徵:資料庫採用分散式資料庫,檔案系統採用分散式檔案系統。

描述:任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求,資料庫讀寫分離隨著業務的發展最終也將無法滿足需求,需要使用分散式資料庫及分散式檔案系統來支撐。分散式資料庫是系統資料庫拆分的最後方法,只有在單表資料規模非常龐大的時候才使用,更常用的資料庫拆分手段是業務分庫,將不同的業務資料庫部署在不同的物理伺服器上。

8. 系統架構演化歷程-使用NoSQL和搜尋引擎

特徵:系統引入NoSQL資料庫及搜尋引擎。

描述:隨著業務越來越複雜,對資料儲存和檢索的需求也越來越複雜,系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜尋引擎。應用伺服器通過統一資料訪問模組訪問各種資料,減輕應用程式管理諸多資料來源的麻煩。

9. 系統架構演化歷程-業務拆分

特徵:系統上按照業務進行拆分改造,應用伺服器按照業務區分進行分別部署。

描述:為了應對日益複雜的業務場景,通常使用分而治之的手段將整個系統業務分成不同的產品線,應用之間通過超連結建立關係,也可以通過訊息佇列進行資料分發,當然更多的還是通過訪問同一個資料儲存系統來構成一個關聯的完整系統。縱向拆分:將一個大應用拆分為多個小應用,如果新業務較為獨立,那麼就直接將其設計部署為一個獨立的Web應用系統縱向拆分相對較為簡單,通過梳理業務,將較少相關的業務剝離即可。橫向拆分:將複用的業務拆分出來,獨立部署為分散式服務,新增業務只需要呼叫這些分散式服務橫向拆分需要識別可複用的業務,設計服務介面,規範服務依賴關係。

10. 系統架構演化歷程-分散式服務

特徵:公共的應用模組被提取出來,部署在分散式伺服器上供應用伺服器呼叫。描述:隨著業務越拆越小,應用系統整體複雜程度呈指數級上升,由於所有應用要和所有資料庫系統連線,最終導致資料庫連線資源不足,拒絕服務。

Q:分散式服務應用會面臨哪些問題?

  • (1) 當服務越來越多時,服務URL配置管理變得非常困難,F5硬體負載均衡器的單點壓力也越來越大。
  • (2) 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪個應用要在哪個應用之前啟動,架構師都不能完整的描述應用的架構關係。
  • (3) 接著,服務的呼叫量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器?
  • (4) 服務多了,溝通成本也開始上升,調某個服務失敗該找誰?服務的引數都有什麼約定?
  • (5) 一個服務有多個業務消費者,如何確保服務質量?
  • (6) 隨著服務的不停升級,總有些意想不到的事發生,比如cache寫錯了導致記憶體溢位,故障不可避免,每次核心服務一掛,影響一大片,人心慌慌,如何控制故障的影響面?服務是否可以功能降級?或者資源劣化?

這個好像是《大型網站技術架構 核心原理與案例分析》開篇的內容,不過作者總結得不錯,我就轉載一下吧。

4. 產品線的架構

還有一種就是上面也有提到的業務拆分。現在我們需要做一個產品線,我們只需要一個資料層,一個通用業務邏輯層,前面還有各種應用和介面層,不需要對外部系統(外部公司的系統)提供服務的情況以前我們一般會選擇用EJB等來構建分散式應用,但是現在我們可以使用dobbo、thrift、avro、hessian這類RPC框架來構建分散式應用實現不同應用和資料來源的互動。這種結構模式下我們需要對其他公司提供服務,可以專門寫一個應用對外部系統提供rest服務。一般大多數網際網路服務背後都要訪問十幾個甚至幾百個內部服務,它們之間的通訊方式一般都是RPC:就像訪問一個遠端方法那樣,輸入引數後等待返回結果。這對於構建複雜系統是最容易理解的方式。

如下圖的模型,檔案系統,快取那些沒有畫出來,大家理解就行。

結語:

  • 不管哪種架構我們都需要做好模組化(儘量做到模組複用)。
  • 不要為了架構而架構導致過度設計。
  • 不管何種架構都是為了更好滿足業務需求,架構應該跟隨業務的發展而發展。
  • 當前的架構如果可以滿足當前的業務發展,就可以考慮下一步的擴充套件了,不用一下子考慮3步4步甚至更多。

以上如果有誤,還望大家不吝賜教!

相關文章