微服務的架構演進過程和多個解決方案

程式猿院長發表於2019-05-05

微服務架構現在是談到企業應用架構時必聊的話題,微服務之所以火熱也是因為相對之前的應用開發方式有很多優點,如更靈活、更能適應現在需求快速變更的大環境。

本文將介紹微服務架構的演進、優缺點和微服務應用的設計原則,然後著重介紹作為一個“微服務應用平臺”需要提供哪些能力、解決哪些問題才能更好的支撐企業應用架構。

微服務平臺也是我目前正在參與的,還在研發過程中的平臺產品,平臺是以SpringCloud為基礎,結合了普元多年來對企業應用的理解和產品的設計經驗,逐步孵化的一個微服務應用平臺。

目錄:

一、微服務架構演進過程

二、微服務架構的好處

三、微服務應用4個設計原則

四、微服務架構帶來的問題

五、微服務平臺的19個落地實踐

六、總結展望

一、微服務架構演進過程

微服務的架構演進過程和多個解決方案

近年來我們大家都體會到了網際網路、移動互聯帶來的好處,作為IT從業者,在生活中時刻感受網際網路好處的同時,在工作中可能感受的卻是來自自網際網路的一些壓力,那就是我們傳統企業的IT建設也是迫切需要轉型,需要面向外部客戶,我們也需要應對外部環境的快速變化、需要快速創新,那麼我們的IT架構也需要向網際網路企業學習作出相應的改進,來支撐企業的數字化轉型。

我們再看一下應用架構的演進過程,回憶一下微服務架構是如何一步一步進化產生的,最早是應用是單塊架構,後來為了具備一定的擴充套件和可靠性,就有了垂直架構,也就是加了個負載均衡,接下來是前幾年比較火的SOA,主要講了應用系統之間如何整合和互通,而到現在的微服務架構則是進一步在探討一個應用系統該如何設計才能夠更好的開發、管理更加靈活高效。

微服務架構的基本思想就是“圍繞業務領域元件來建立應用,讓應用可以獨立的開發、管理和加速”。

二、微服務架構的好處

微服務的架構演進過程和多個解決方案

我們總結了四個方面的優點,分別如下:

是每個微服務元件都是簡單靈活的,能夠獨立部署。不再像以前一樣,應用需要一個龐大的應用伺服器來支撐。

可以由一個小團隊負責更專注專業,相應的也就更高效可靠。

微服務之間是鬆耦合的,微服務內部是高內聚的,每個微服務很容易按需擴充套件。

微服務架構與語言工具無關,自由選擇合適的語言和工具,高效的完成業務目標即可。

看到這裡,大家會覺得微服務架構挺不錯,然而還會有一些疑問,什麼樣的應用算是一個微服務架構的應用?該怎樣設計一個微服務架構的應用?那我們來一起看看我們推薦的微服務應用的設計原則。

三、微服務應用4個設計原則

微服務的架構演進過程和多個解決方案

我們總結了四個原則推薦給大家:

AKF拆分原則

前後端分離

無狀態服務

Restful通訊風格

1.AKF拆分原則

微服務的架構演進過程和多個解決方案

AKF擴充套件立方體(參考《The Art of Scalability》),是一個叫AKF的公司的技術專家抽象總結的應用擴充套件的三個維度。理論上按照這三個擴充套件模式,可以將一個單體系統,進行無限擴充套件。

X 軸 :指的是水平復制,很好理解,就是講單體系統多執行幾個例項,做個叢集加負載均衡的模式。

Z 軸 :是基於類似的資料分割槽,比如一個網際網路叫車應用突然或了,使用者量激增,叢集模式撐不住了,那就按照使用者請求的地區進行資料分割槽,北京、上海、四川等多建幾個叢集。

Y 軸 :就是我們所說的微服務的拆分模式,就是基於不同的業務拆分。

場景說明:比如叫車應用,一個叢集撐不住時,分了多個叢集,後來使用者激增還是不夠用,經過分析發現是乘客和車主訪問量很大,就將叫車應用拆成了三個乘客服務、車主服務、支付服務。三個服務的業務特點各不相同,獨立維護,各自都可以再次按需擴充套件。

2.前後端分離

微服務的架構演進過程和多個解決方案

前後端分離原則,簡單來講就是前端和後端的程式碼分離也就是技術上做分離,我們推薦的模式是最好直接採用物理分離的方式部署,進一步促使進行更徹底的分離。不要繼續以前的服務端模板技術,比如JSP ,把Java JS HTML CSS 都堆到一個頁面裡,稍複雜的頁面就無法維護。這種分離模式的方式有幾個好處:

前後端技術分離,可以由各自的專家來對各自的領域進行優化,這樣前端的使用者體驗優化效果會更好。

分離模式下,前後端互動介面更加清晰,就剩下了介面和模型,後端的介面簡潔明瞭,更容易維護。

前端多渠道整合場景更容易實現,後端服務無需變更,採用統一的資料和模型,可以支撐前端的web UI\ 移動App等訪問。

3.無狀態服務

微服務的架構演進過程和多個解決方案

對於無狀態服務,首先說一下什麼是狀態:如果一個資料需要被多個服務共享,才能完成一筆交易,那麼這個資料被稱為狀態。進而依賴這個“狀態”資料的服務被稱為有狀態服務,反之稱為無狀態服務。

那麼這個無狀態服務原則並不是說在微服務架構裡就不允許存在狀態,表達的真實意思是要把有狀態的業務服務改變為無狀態的計算類服務,那麼狀態資料也就相應的遷移到對應的“有狀態資料服務”中。

場景說明:例如我們以前在本地記憶體中建立的資料快取、Session快取,到現在的微服務架構中就應該把這些資料遷移到分散式快取中儲存,讓業務服務變成一個無狀態的計算節點。遷移後,就可以做到按需動態伸縮,微服務應用在執行時動態增刪節點,就不再需要考慮快取資料如何同步的問題。

4.Restful通訊風格

微服務的架構演進過程和多個解決方案

作為一個原則來講本來應該是個“無狀態通訊原則”,在這裡我們直接推薦一個實踐優選的Restful 通訊風格 ,因為他有很多好處:

無狀態協議HTTP,具備先天優勢,擴充套件能力很強。例如需要安全加密是,有現成的成熟方案HTTPS可用。

JSON 報文序列化,輕量簡單,人與機器均可讀,學習成本低,搜尋引擎友好。

語言無關,各大熱門語言都提供成熟的Restful API框架,相對其他的一些RPC框架生態更完善。

當然在有些特殊業務場景下,也需要採用其他的RPC框架,如thrift、avro-rpc、grpc。但絕大多數情況下Restful就足夠用了。

四、微服務架構帶來的問題

做到了前面講的四個原則,那麼就可以說是構建了一個微服務應用,感覺上也不復雜。但實際上微服務也不是個萬金油,也是有利有弊的,接下來我們來看看引入微服務架構後帶來的問題有哪些。

微服務的架構演進過程和多個解決方案

依賴服務變更很難跟蹤,其他團隊的服務介面文件過期怎麼辦?依賴的服務沒有準備好,如何驗證我開發的功能。

部分模組重複構建,跨團隊、跨系統、跨語言會有很多的重複建設。

微服務放大了分散式架構的系列問題,如分散式事務怎麼處理?依賴服務不穩定怎麼辦?

運維複雜度陡增,如:部署物數量多、監控程式多導致整體運維複雜度提升。

上面這些問題我們應該都遇到過,並且也會有一些解決方案,比如提供文件管理、服務治理、服務模擬的工具和框架; 實現統一認證、統一配置、統一日誌框架、分散式彙總分析; 採用全域性事務方案、採用非同步模擬同步;搭建持續整合平臺、統一監控平臺等等。

這些解決方案折騰到最後終於搞明白了,原來我們是需要一個微服務應用平臺才能整體性的解決這些問題。

五、微服務平臺的19個落地實踐

1.企業IT建設的三大基礎環境

我們先來巨集觀的看一下,一個企業的IT建設非常重要的三大基礎環境:團隊協作環境、個人基礎環境、IT基礎設施。

微服務的架構演進過程和多個解決方案

團隊協作環境 :主要是DevOps領域的範疇,負責從需求到計劃任務,團隊協作,再到質量管理、持續整合和釋出。

個人基礎環境 :就是本文介紹的微服務應用平臺,他的目標主要就是要支撐微服務應用的設計開發測試,執行期的業務資料處理和應用的管理監控。

IT基礎設施 :就是我們通常說的各種執行環境支撐如IaaS (VM虛擬化)和CaaS (容器虛擬化)等實現方式。

2.微服務應用平臺總體架構

微服務的架構演進過程和多個解決方案

微服務應用平臺的總體架構,主要是從開發整合、微服務執行容器與平臺、執行時監控治理和外部渠道接入等維度來劃分的。

開發整合 :主要是搭建一個微服務平臺需要具備的一些工具和倉庫

執行時 :要有微服務平臺來提供一些基礎能力和分散式的支撐能力,我們的微服務執行容器則會執行在這個平臺之上。

監控治理 :則是致力於在執行時能夠對受管的微服務進行統一的監控、配置等能力。

服務閘道器 :則是負責與前端的WEB應用 移動APP 等渠道整合,對前端請求進行認真鑑權,然後路由轉發。

3.微服務應用平臺的執行檢視

微服務的架構演進過程和多個解決方案

參考上圖,在執行期,作為一個微服務架構的平臺與業務系統,除了業務應用本身外,還需要有接入服務、統一門戶、基礎服務等平臺級服務來保障業務系統的可靠執行。圖中的公共服務就是業務處理過程中需要用到的一些可選服務。

4.微服務平臺的設計目標

微服務的架構演進過程和多個解決方案

微服務平臺的主要目標主要就是要支撐微服務應用的全生命週期管理,從需求到設計開發測試,執行期的業務資料處理和應用的管理監控等,後續將從應用生命週期的幾個重要階段切入,結合前面提到的設計原則和問題,介紹平臺提供的能力支撐情況。

5.微服務開發:前端、後端、混合

微服務的架構演進過程和多個解決方案

我們一起看一下我們正在開發中的微服務應用平臺EOS8.0的一些開發工具截圖,瞭解一下開發期提供了哪些關鍵的能力支撐。

前面的設計原則中提到了一個前後端分離的原則,那麼我們的開發環境中,目前支援建立前端專案、後端專案和混合專案。其中前端專案、後端專案就對應前後端分離的原則,利用平臺中整合的開發工具和框架可以做到前後端開發分離,利用持續整合工具可以方便的將前端、後端專案編譯打包成可獨立執行的程式。混合專案則是為了相容傳統模式而保留的,為企業應用向微服務架構演進提供過渡方案。

6.服務契約與API管理

對於前面提到的微服務帶來的依賴管理問題,我們可以通過平臺提供的API管理能力來解決。說到API管理,那首先就用提到服務契約。平臺開發工具中提供了方便的服務釋出能力,能夠快速的將業務功能對外發布,生成服務的規格契約,當然也可以先設計服務契約,在根據契約來生成服務的預設實現程式碼。

這裡強調一下,我們提到的服務契約是一個很重要的東西,他有點類似web service的wsdl描述,主要描述服務介面的輸入輸出規格標準和其他一些服務呼叫整合相關的規格內容。

微服務的架構演進過程和多個解決方案

7.服務契約與服務模擬

有了服務契約,我們就可以根據契約自動生成服務的文件和服務模擬測試環境,這樣,開發者就可以方便的獲取到依賴服務變更的情況,能夠及時的根據依賴服務的變化調整自己的程式,並且能夠方便的進行模擬測試驗證。

微服務的架構演進過程和多個解決方案

根據契約生成模擬服務也就是我們常說的服務擋板,這樣即使依賴的其他服務還無法提供功能,我們也可以通過擋板來進行聯調測試。

8.服務契約與服務編排

微服務的架構演進過程和多個解決方案

有了服務契約,那就有了服務介面的輸入輸出規格,那麼restful的服務編排也就變得可行。在我們設計的契約標準中,還定義了呼叫整合相關的內容,比如服務支援的事務模式等等。通過這些約定,我們就可以採用簡單圖形化的方式來對業務服務流程進行編排。編排能夠很大程度上簡化分散式服務呼叫的複雜度,如同步、非同步、非同步模擬同步、超時重試、事務補償等,均有服務編排引擎完成,不再完全依賴老師傅的編碼能力。

服務編排的作用和意義很大,可以快速的將已經提供的微服務能力進行組合釋出,非常適合業務的快速創新。

但是大家要注意,邏輯流編排的是業務流程,儘量能夠簡單明瞭,一眼看上去就明白業務含義。而業務規則推薦採用服務內部進行編碼實現。千萬不要將我們的 “邏輯流” 圖形化服務編排完全取代程式編碼,這樣就會可能會走入另外一個極端,比如設計出像蜘蛛網一樣的邏輯流圖,簡直就是災難。

9.微服務容器

微服務的架構演進過程和多個解決方案

我們再來看一下微服務執行容器的一個邏輯圖,大家可以看到,我們要做微服務架構的應用,可靠高效的微服務應用,實際上我們需要做的事情還是非常多的。如果沒有一個統一的微服務容器,這些能力在每個微服務元件中都需要建設一遍,而且會五花八門,也很難整合到一起。有了統一的微服務執行容器和一些公共的基礎服務,前面所提到的微服務架構下部分元件重複建設的問題也迎刃而解。

10.三方能力整合說明

我們的API管理契約文件API模擬我們是整合了Swagger的工具鏈。微服務應用平臺的基礎就是SpringCloud,從容器框架到註冊發現再到安全認證這些基礎方案均採用了他的能力來支撐。下面簡單看下我們整合的一些開源框架和工具。

微服務的架構演進過程和多個解決方案

SpringCloud 在微服務平臺中的定位是基礎框架,本文重點是要介紹一個企業級的微服務平臺在落地過程中的一些設計原則和解決方案。具體 Spring Cloud 相關的技術就不在文中多做介紹了,大家可以在我們的公眾號裡面檢視相關文章。

11.服務註冊發現路由

微服務的架構演進過程和多個解決方案

接下來我們聊一下注冊發現,以前的單塊應用之間互相呼叫時配置個IP就行了,但在微服務架構下,服務提供者會有很多,手工配置IP地址又變成了一個不可行的事情。那麼服務自動註冊發現的方案就解決了這個問題。

我們的服務註冊發現能力是依賴SpringCloud Eureka元件實現的。服務在啟動的時候,會將自己要釋出的服務註冊到服務註冊中心,執行時,如果需要呼叫其他微服務的介面,那麼就要先到註冊中心獲取服務提供者的地址,拿到地址後,通過微服務容器內部的簡單負載均衡期進行路由用。

一般情況,系統內微服務的呼叫都通過這種客戶端負載的模式進行,否則就需要有很多的負載均衡程式。跨業務系統的服務呼叫,也可以採用這種去中心化的路由方式。當然採用SOA的模式,由中心化的服務網管來管理系統間的呼叫也是另一種選擇,要結合企業的IT現狀和需求來決定。

12.統一認證鑑權

微服務的架構演進過程和多個解決方案

安全認證方面,我們基於Spring Security結合Auth2再加上JWT(Json web token)做安全令牌,實現統一的安全認證與鑑權,使得微服務之間能夠按需隔離和安全互通。後續在統一認證和許可權方面我們產品會陸續推出較完善並且擴充套件性良好的微服務元件,可以作為微服務平臺的公共的認證和鑑權服務。 再囉嗦一句,認證鑑權一定是個公共的服務,而不是多個系統各自建設。

13.日誌與流水設計

微服務的架構演進過程和多個解決方案

作為一個微服務應用平臺除了提供支撐開發和執行的技術元件和框架之外,我們還提供一些運維友好的經驗總結,我們一起來看一下我們推薦的日誌與流水實現,先來看日誌,平臺預設回會提供的日誌主要有三種,系統日誌,引擎日誌還有跟蹤日誌。有了這些日誌,在出問題的時候能夠幫助我們獲取一些關鍵資訊進行問題定位。

要想做到出了問題能夠追根溯源,那麼右邊的這些流水號的設計也是非常重要的,日誌與各種流水號配合,能夠讓我們快速定位問題發生的具體時間地點以及相關資訊,能夠快速還原業務交易全鏈路。對這些日誌與流水的細節處理,對於系統運維問題定位有非常大的幫助,沒有這些有用的日誌內容,ELK日誌收集套件搭建的再漂亮,收一對垃圾日誌也是沒用的。通常開源框架只是提供個框架有開發人員自由發揮,而設計一個平臺則一定要考慮直接提供統一規範的基礎能力。

14.集中配置管理

微服務的架構演進過程和多個解決方案

微服務分散式環境下,一個系統拆分為很多個微服務,一定要告別投產或運維手工修改配置配置的方式。需要採用集中配置管理的方式來提升運維的效率。

配置檔案主要有執行前的靜態配置和執行期的動態配置兩種。靜態配置通常是在編譯部署包之前設定好。動態配置則是系統執行過程中需要調整的系統變數或者業務引數。要想做到集中的配置管理,那麼需要注意以下幾點。

是配置與介質分離,這個就需要通過制定規範的方式來控制。千萬別把配置放在Jar包裡。

是配置的方式要統一,格式、讀寫方式、變更熱更新的模式儘量統一,要採用統一的配置框架

就是需要執行時需要有個配置中心來統一管理業務系統中的配置資訊,這個就需要平臺來提供配置中心服務和配置管理門戶。

15.統一管理門戶

微服務的架構演進過程和多個解決方案

微服務架構下,一個大的EAR、WAR應用被拆為了多個小的可獨立執行的微服務程式,通常這些微服務程式都不再依賴應用伺服器,不依賴傳統應用伺服器的話,應用伺服器提供管理控制檯也就沒得用了,所以微服務的執行時管理需要有統一的管理門戶來支撐。我們規劃了的統一集中的微服務門戶,可以支撐 應用開發、業務處理、應用管理、系統監控等。上圖是應用管理頁面,就是對我們傳統意義上的業務系統進行管理,點選一個業務系統,我們就能夠看到系統下有哪些微服務,每個微服務有幾個節點例項再執行,可以監控微服務的子節點狀態,對微服務進行配置管理和監控。

16.分散式事務問題

微服務的架構演進過程和多個解決方案

微服務架構的系統下,程式成倍增多,那麼也分散式事務一致性的問題也就更加明顯。我們這裡說的事務一致性,不是傳統說的基於資料庫實現的技術事務。微服務之間是獨立的、呼叫協議也是無狀態的,因此資料庫事務方案在一開始就已經不再我們考慮的範圍內。我們要解決的是一定時間後的資料達到最終一致狀態,準確的說就是採用傳統的業務補償與衝正方式。

推薦的事務一致性方案有三種:

可靠事件模式 :即事件的傳送和接收保障高可靠性,來實現事務的一致性。

補償模式 :Confirm Cancel ,如果確認失敗,則全部逆序取消。

TCC模式 :Try Confirm Cancel ,補償模式的一種特殊實現 通常轉賬類交易會採用這種模式。

17.分散式同步呼叫問題

微服務的架構演進過程和多個解決方案

微服務架構下,相對於傳統部署方式, 存在更多的分散式呼叫 ,那麼“如何在不確定的環境中交付確定的服務”,這句話可以簡單理解為,我所依賴的服務的可靠性是無法保證的情況下,我如何保證自己能夠正常的提供服務,不被我依賴的其他服務拖垮?

我們推薦SEDA架構來解決這個問題。

微服務的架構演進過程和多個解決方案

SEDA : staged event-driven architecture本質上就是採用分散式事件驅動的模式,用非同步模擬來同步,無阻塞等待,再加上資源分配隔離結起來的一個解決方案。

18.持續整合與持續交付設計

微服務的架構演進過程和多個解決方案

在運維方面,首先我們要解決的就是持續整合和持續交付,而微服務應用平臺的職責範圍目前規劃是隻做持續整合,能夠方便的用持續整合環境把程式編譯成介質包和部署包。(目前規劃持續部署由DevOps平臺提供相應能力,微服務平臺可與DevOps平臺整合)

這裡要釐清一個概念:介質,是原始碼編譯後的產物,與環境無關,多環境下應該是可以共用的,如:jar、dockerfile;配置:則是環境相關的資訊。 配置+介質=部署包 。

獲取到部署包之後,微服務應用平臺的職責就完成了,接下來就是運維人員各顯神通來進行上線部署操作。

19.微服務平臺與容器雲、DevOps的關係

微服務的架構演進過程和多個解決方案

就微服務應用平臺本身來說,並不依賴DevOps和容器雲,開發好的部署包可以執行在物理機、虛擬機器或者是容器中。

然而當微服務應用平臺結合了DevOps和容器雲之後,我們就會發現,持續整合和交付變成了一個非常簡單便捷並且又可靠的過程。

簡單幾步操作,整套開發、測試、預發或者生產環境就能夠搭建完成。整個過程的複雜度都由平臺給遮蔽掉了,通過三大基礎環境的整合,我們能夠使分散的微服務元件更簡單方便的進行統一管理和運維交付。

六、總結展望

我們再來回顧一下,三大基礎環境的關係。微服務應用平臺負責應用開發、執行以及管理;DevOps負責專案管理、計劃管理、CI、CD和團隊溝通協作等;容器雲平臺則負責基礎設定管理,遮蔽環境的複雜度。

這三大基礎環境的建設情況,直接反應出了企業IT能力水平。這三大基礎環境是技術人員和企業都希望擁有的,是企業贏得競爭、驅動業務創新的基礎,是企業加速數字化轉型的必由之路。

微服務的架構演進過程和多個解決方案

上圖紅框中的內容是與我們今天分享的微服務應用平臺相關的部分。整個The Platform平臺是我們站在企業整體架構規劃的角度,從多個維度入手,目標是為企業搭建一個持續發展的IT生態環境,加速企業的數字化型。

群內提供免費的Java架構學習資料,QQ群:643459718 

(裡面有高可用、高併發、高效能及分散式、Jvm效能調優、Spring原始碼, MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料) 

微服務的架構演進過程和多個解決方案

相關文章