一步一圖,帶你瞭解分散式架構的前世今生
目錄:
- 什麼是分散式架構?
- 分散式架構的演進
- 分散式服務面臨的問題
什麼是分散式架構?
分散式系統(distributed system)是建立在網路之上的軟體系統,它有兩個典型特點:
- 內聚性 :每個資料庫分佈節點高度自治,有本地的資料庫管理系統
- 透明性 :每個資料庫分佈節點對使用者的應用來說都是透明的,看不出是本地還是遠端。
也就是說,在分散式系統中,使用者感覺不到資料是分散式的,不知道資料是否分割,有無副本,不知道資料存在於哪個節點上。
簡單來說:一個分散式系統中,一組獨立的計算機展現給使用者的是一個統一的整體,就好像是一個系統似的。
如上圖所示,分散式系統作為一個整體對使用者提供服務,而整個系統的內部的協作對使用者來說是透明的,使用者就像是指使用一個mysql 一樣。
分散式架構的演進
(1)初始階段架構
特徵 :應用程式,資料庫,檔案等所有資源都放在一臺伺服器上。
(2)應用服務、資料服務、檔案服務分離
說明 :好景不長,隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver。
特徵 :應用程式、資料庫、檔案分別部署在獨立的資源上。
(3)使用快取改善效能
說明 :系統訪問特點遵循二八定律,即80%的業務訪問集中在20%的資料上。
快取分為 本地快取 和 遠端分散式快取 ,本地快取訪問速度更快但快取資料量有限,同時存在與應用程式爭用記憶體的情況。
特徵 :資料庫中訪問較集中的一小部分資料儲存在快取伺服器中,減少資料庫的訪問次數,降低資料庫的訪問壓力。
(4)使用“應用伺服器”叢集
說明 :在做完分庫分表這些工作後,資料庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了。
突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先檢視資料庫,壓力一切正常,之後檢視webserver,發現apache阻塞了很多的請求,
而應用伺服器對每個請求也是比較快的,看來是請求數太高導致需要排隊等待,響應速度變慢。
特徵 :多臺伺服器通過負載均衡同時向外部提供服務,解決單臺伺服器處理能力和儲存空間上限的問題。
描述 :使用叢集是系統解決高併發、海量資料問題的常用手段。通過向叢集中追加資源,提升系統的併發處理能力,使得伺服器的負載壓力不再成為整個系統的瓶頸。
(5)資料庫讀寫分離
說明 :享受了一段時間的系統訪問量高速增長的幸福後,發現系統又開始變慢了,這次又是什麼狀況呢?
經過查詢,發現資料庫寫入、更新的這些操作的部分資料庫連線的資源競爭非常激烈,導致了系統變慢
特徵 :多臺伺服器通過負載均衡同時向外部提供服務,解決單臺伺服器處理能力和儲存空間上限的問題。
描述 :使用叢集是系統解決高併發、海量資料問題的常用手段。通過向叢集中追加資源,使得伺服器的負載壓力不在成為整個系統的瓶頸。
(6)反向代理和CDN加速
特徵
:採用CDN和反向代理加快系統的訪問速度。
描述
:為了應付複雜的網路環境和不同地區使用者的訪問,通過CDN和反向代理加快使用者訪問的速度,同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是快取。
(7)“分散式檔案”系統 和 “分散式資料庫”
說明
:隨著系統的不斷執行,資料量開始大幅度增長,這個時候發現分庫後查詢仍然會有些慢,於是按照分庫的思想開始做分表的工作
特徵 :資料庫採用分散式資料庫,檔案系統採用分散式檔案系統。
描述 :任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求,資料庫讀寫分離隨著業務的發展最終也將無法滿足需求,需要使用分散式資料庫及分散式檔案系統來支撐。
分散式資料庫是系統資料庫拆分的最後方法,只有在單表資料規模非常龐大的時候才使用,更常用的資料庫拆分手段是業務分庫,將不同的業務資料庫部署在不同的物理伺服器上。
(8)使用NoSQL和搜尋引擎
特徵
:系統引入NoSQL資料庫及搜尋引擎。
描述
:隨著業務越來越複雜,對資料儲存和檢索的需求也越來越複雜,系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜尋引擎。
應用伺服器通過統一資料訪問模組訪問各種資料,減輕應用程式管理諸多資料來源的麻煩。
(9)業務拆分
特徵
:系統上按照業務進行拆分改造,應用伺服器按照業務區分進行分別部署。
描述
:為了應對日益複雜的業務場景,通常使用分而治之的手段將整個系統業務分成不同的產品線,應用之間通過超連結建立關係,也可以通過訊息佇列進行資料分發,
當然更多的還是通過訪問同一個資料儲存系統來構成一個關聯的完整系統。
縱向拆分 :將一個大應用拆分為多個小應用,如果新業務較為獨立,那麼就直接將其設計部署為一個獨立的Web應用系統
縱向拆分相對較為簡單,通過梳理業務,將較少相關的業務剝離即可。
橫向拆分 :將複用的業務拆分出來,獨立部署為分散式服務,新增業務只需要呼叫這些分散式服務
橫向拆分需要識別可複用的業務,設計服務介面,規範服務依賴關係。
(10)分散式服務
特徵
:公共的應用模組被提取出來,部署在分散式伺服器上供應用伺服器呼叫。
描述
:隨著業務越拆越小,應用系統整體複雜程度呈指數級上升,由於所有應用要和所有資料庫系統連線,最終導致資料庫連線資源不足,拒絕服務。
分散式服務面臨哪些問題?
- 當服務越來越多時,服務URL配置管理變得非常困難,F5硬體負載均衡器的單點壓力也越來越大。
- 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪個應用要在哪個應用之前啟動,架構師都不能完整的描述應用的架構關係。
- 接著,服務的呼叫量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器?
- 服務多了,溝通成本也開始上升,調某個服務失敗該找誰?服務的引數都有什麼約定?
- 一個服務有多個業務消費者,如何確保服務質量?
- 隨著服務的不停升級,總有些意想不到的事發生,比如cache寫錯了導致記憶體溢位,故障不可避免,每次核心服務一掛,影響一大片,人心慌慌,如何控制故障的影響面?服務是否可以功能降級?或者資源劣化
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545684/viewspace-2647174/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 8張圖帶你瞭解iptables的前世今生
- 深度解析:主流分散式架構的前世今生分散式架構
- 帶你瞭解大語音模型的前世今生模型
- 以電商為例 讀懂分散式架構的前世今生分散式架構
- 分散式服務Dubbo的前世今生分散式
- Uber 新架構 RIBs 的前世今生架構
- 帶你一步一步瞭解Python中的ClassPython
- 分散式系統:CAP 理論的前世今生分散式
- 一文帶你瞭解微服務架構和設計(多圖)微服務架構
- 圖解分散式架構的演進圖解分散式架構
- 帶你快速瞭解 MongoDB 分散式叢集MongoDB分散式
- 架構師帶你玩轉分散式鎖架構分散式
- 資料中臺的前世今生 :帶你全面瞭解阿里巴巴做資料中臺的歷史阿里
- 實在智慧RPA機器人帶你瞭解人工智慧的前世今生機器人人工智慧
- 一步一步帶你瞭解EventBus3.1.1 原始碼S3原始碼
- 熬夜之作:一文帶你瞭解Cat分散式監控分散式
- 一篇文章帶你瞭解高可用架構分析架構
- 圖解分散式架構的演進過程!圖解分散式架構
- 理論+實踐,帶你瞭解分散式訓練分散式
- 三分鐘瞭解Go語言的前世今生Go
- 帶你瞭解極具彈性的Spark架構的原理Spark架構
- 圖解分散式架構的發展和演進圖解分散式架構
- 帶你瞭解分散式系統的資料一致性問題分散式
- 雲原生的前世今生(一)
- 一文帶你瞭解數棧百萬級分散式排程引擎DAGScheduleX分散式
- 雲端計算是什麼?華為雲學院帶你5分鐘瞭解雲端計算的前世今生!
- Android官方架構元件ViewModel:從前世今生到追本溯源Android架構元件View
- 一圖抵千言:帶你瞭解最直觀的神經網路架構視覺化神經網路架構視覺化
- 【網站架構13/100】一步步帶你,如何網站架構網站架構
- 分散式服務治理框架Dubbo的前世今生及應用實戰分散式框架
- 微服務架構帶來的分散式單體微服務架構分散式
- 一張圖瞭解Spring Cloud微服務架構SpringCloud微服務架構
- 深入瞭解HTTP/2的前世今生以及Web效能優化總結HTTPWeb優化
- RabbitMQ的前世今生MQ
- InfiniBand 的前世今生
- MySQL 的前世今生MySql
- Mybatis的前世今生MyBatis
- Unicode的前世今生Unicode