大型網站架構演化發展歷程

c旋兒發表於2019-05-29

一、大型網站系統的特點

高併發,大流量: 需要面對高併發使用者,大流量訪問,Google日均PV數為35億,日均IP訪問數為3億,2011年騰訊QQ最大使用者線上數1.4億,淘寶2012年雙11活動一天交易額191億,活動開始第一分鐘獨立訪問使用者達1000萬

擴充: PV、UV、IV的概念

PV: PV訪問量(Page View),即頁面訪問量,每開啟一次頁面PV計數+1,重新整理頁面也是。

UV: UV訪問數(Unique Visitor)指獨立訪客訪問數,一臺電腦終端為一個訪客。

IV: IV是IP訪問數指獨立IP訪問數,計算是以一個獨立的IP在一個計算時段內訪問網站計算為1次IP訪問數。在同一個計算時段內不管這個IP訪問多少次均計算為1次。計算時段有以1天為一個計算時段,也有以1個小時為一個計算時段。

高可用: 7 * 24小時不間斷提供服務。大型網站的當機一般會成為焦點,例如2010年百度域名被黑客劫持事件,雙11淘寶當機事件,12306網站併發數過高的當機事件,微博流量明星當機事件。

大型網站架構演化發展歷程

海量資料: 需要儲存管理海量的資料,同時需要大量伺服器,Facebook 每週上傳的照片數目接近10億,百度收錄的網站有百億,Google有接近百萬臺伺服器為全球使用者提供服務。

使用者分佈廣泛,網路情況複雜:許多大型網際網路公司都是為全球使用者提供服務,各地網路情況千差萬別,在國內,還有各個運營商網路互通難的問題,而中美光纜的數次故障,也讓很多網際網路公司不得不考慮在海外建立資料中心。

安全環境惡劣: 由於網際網路的開放性,使大型網際網路公司更易遭到黑客的攻擊,例如facebook使用者洩漏事件。
大型網站架構演化發展歷程

需求快速變更,釋出頻繁: 和傳統的企業級應用不同,網際網路公司為快速適應市場,滿足使用者需求,其產品釋出頻率是極高的。至於中小型網際網路公司的釋出頻率,那就更高了,有時候一天會發布十幾次

漸進式發展: 與傳統行業一開始規劃好全部的功能和非功能的需求不同,很多大型網際網路公司都是從小公司開始做起,漸進的發展起來的。Facebook的創始人扎克伯克在哈佛的宿舍開發出來的,阿里巴巴是誕生在馬雲家的客廳的,好的網際網路產品都是迭代出來的,不是一開始就發展的很好的。

二、大型網站的演變過程

1. 初始階段的網站架構

​ 大型網站都是從小型網站發展起來的,網站架構也是一樣,網站剛開始搭建處於雛形階段,訪問量小,一臺伺服器完全夠用,也是大部分企業級應用的選擇

大型網站架構演化發展歷程

應用程式,資料庫,檔案都部署在一臺伺服器的,通常伺服器選用Linux,應用程式選用PHP,然後部署在Apache 上,資料庫使用MySQL,彙集各種開源軟體以及一架廉價的伺服器就可以進行開發

2. 應用服務和資料分離

​ 隨著業務的發展,一臺伺服器不能滿足業務需求:越來越多的使用者訪問導致效能越來越差,越來越多的資料導致伺服器儲存空間不足,這就需要將應用和資料分離。應用和資料分離後整個網站使用三臺伺服器,應用伺服器,檔案伺服器,資料庫伺服器

大型網站架構演化發展歷程

應用和資料分離後,不同特性的伺服器承擔不同的服務角色,網站的併發處理能力和資料儲存都得到了很大的改善,支援業務的進一步發展。但是隨著業務的增多,訪問量增大,網站又一次面臨挑戰,資料庫壓力太多導致訪問延遲,進而影響整個網站的效能,使用者體驗收到影響

3. 使用快取改善網站效能

​ 網站訪問特點和現實世界的財富分配通常符合二八定律: 80%的業務訪問集中在20% 的資料上,淘寶買家瀏覽的商品集中在少部分成交數多、評價良好的商品上;百度搜尋的關鍵詞集中在少部分熱門詞彙上,搜尋出來的詞條你也會瀏覽前兩頁的內容。

​ 既然大部分的瀏覽都只會放在一小部分資料上,那麼是否能把這些資料快取起來放在記憶體中,是不是就可以減少資料庫的壓力,從而提高整個網站的資料訪問速度,改善資料庫的寫入效能了呢?

​ 網站的快取分為兩種: 快取在本地伺服器上的本地快取,快取在遠端伺服器上的遠端快取,本地快取的訪問速度要比遠端快取的更快。但是受應用伺服器的記憶體限制,往往會存在本地快取和應用程式競爭記憶體的情況,這種情況在遠端伺服器上就不會存在,遠端分散式快取可以使用叢集的方式,部署大記憶體的伺服器使用專門的快取伺服器,理論上可以做到不受記憶體限制的快取服務

大型網站架構演化發展歷程

使用快取後,有效的改善了資料庫訪問的壓力,但是單一應用程式的伺服器能夠處理的連線有限,在網站訪問的高峰期間,應用伺服器會成為網站的瓶頸

4. 使用應用伺服器叢集改善網站的併發處理能力

​ 使用叢集是解決高併發,海量資料問題的關鍵手段,當一臺伺服器的處理能力、儲存空間不足的時候,不要嘗試去更換一臺儲存量更大的伺服器,而是考慮叢集部署,因為對於大型網站而言,不管多麼強大的伺服器,都滿足不了網站持續增長的業務。

大型網站架構演化發展歷程

應用伺服器叢集部署,使用負載均衡伺服器做負載控制,能夠改善流量峰值對應用伺服器的壓力,避免單一伺服器承擔更多的請求壓力。如果還有更多的請求,那麼就在現有的基礎上增加更多的應用伺服器。

5. 資料庫讀寫分離

​ 使用快取後,能夠改善一部分的資料庫訪問壓力,使絕大多數資料讀操作訪問不用通過資料庫就能完成,但是仍有一部分讀(快取訪問不命中,快取過期)和全部的寫操作都會直接訪問資料庫,在網站到達一定的規模後,也會增大資料庫的壓力

​ 目前大部分主流資料庫都提供主從熱備功能,通過配置兩臺資料庫搭建主從關係,可以將一臺資料庫伺服器的資料更新同步到另一臺伺服器上,網站可以利用這一特性,實現資料庫的讀寫分離的功能,從而改善資料庫的壓力。

大型網站架構演化發展歷程

應用在寫資料的時候,訪問主伺服器,在讀資料的時候,訪問從伺服器,主資料庫通過主從複製的功能將資料同步更新到從伺服器,這樣當有讀操作的時候,就會直接訪問從伺服器,當有寫操作的時候,會直接訪問主伺服器,為了便於應用程式訪問讀寫分離後的資料庫,通常在應用伺服器端使用專門的資料訪問模組,使資料庫讀寫分離對應用透明

6. 使用反向代理和CDN加速網站響應

​ 隨著網站規模不斷擴大,使用者規模越來越大,由於國內網路情況複雜,不同地區的使用者訪問網站時,速度差別也極大。有研究表明,網站訪問延遲和使用者流失率正相關,網站訪問越慢,使用者的流失率越快,所以為了更好的使用者體驗,留住使用者,網站需要更快的訪問速度,主要手段有使用CDN和反向代理

​ CDN和反向代理的基本原理都是快取,區別在於CDN部署在網路提供商的機房,使使用者在請求網站服務時,可以從距離自己最近的機房獲取資料;而CDN則部署在網站的中心機房,當使用者請求到達中心機房後,首先訪問的伺服器是反向代理伺服器,如果反向代理伺服器快取著資源,就會直接返回給使用者

大型網站架構演化發展歷程

使用CDN的目的都是儘早返回資料給使用者,一方面能夠加快訪問速度,一方面都能減輕伺服器的壓力

7. 使用分散式檔案系統和分散式資料庫系統

​ 任何強大的單一伺服器都滿足不了大型網站持續增長的業務需求。資料庫經過讀寫分離後,從一臺伺服器拆分成兩臺伺服器,但是隨著網站業務的發展不能滿足業務的需求,需要使用分散式的儲存伺服器,檔案系統能夠也是一樣,需要使用分散式檔案系統。

​ 分散式資料庫是網站資料庫拆分的重要手段,只有在單表資料非常龐大的時候才使用。不到不得已時,網站最常用的資料庫拆分手段是業務分庫。將不同業務的資料部署在不同的伺服器上。

大型網站架構演化發展歷程

8. 使用NoSQL和搜尋引擎

​ 隨著網站業務的擴大,對資料儲存和檢索的要求也越來越高,網站需要採用一些非關係型資料庫技術如NoSQL和非資料庫查詢技術和搜尋引擎

大型網站架構演化發展歷程

NoSQL和搜尋引擎都是源自網際網路的技術手段,對可伸縮的分散式特性具有更好的支援。應用伺服器則通過一個統一資料訪問模組訪問各種資料。減輕應用程式管理諸多資料來源的麻煩

9. 業務拆分

​ 大型網站為了應對日益繁雜的業務場景,通過使用分而治之的方式將整個網站的業務拆分成不同的產品線,如大型購物交易網站就會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產品線,分歸不同的業務部門負責管理。

​ 具體到技術上,也會根據產品線劃分產品,將一個產品拆分成不同的應用。每個應用獨立部署和維護,應用之間可以通過超連結簡歷關係,也可以通過訊息佇列進行資料分發,當然最多的還是通過訪問同一個資料儲存系統來構成一個關聯的完整系統。

大型網站架構演化發展歷程

10. 分散式服務

​ 隨著業務拆分越來越小,儲存系統越來越大,應用系統的整體複雜度呈指數增長,部署越來越困難。由於所有的應用都要和資料庫系統連線。在數萬臺伺服器規模的網站中,這些連線的數目是伺服器規模的平方。導致存資料庫連線資源不足。拒絕服務。

​ 既然每一個應用系統都需要執行許多相同的業務操作,可以把相同的業務提取出來。由這些可服用的業務連線資料庫。提供公用業務服務。

大型網站架構演化發展歷程

大型網站演化到這裡,基本上大多數的技術問題都可以解決,諸如跨資料中心的實時資料同步和具體網站業務相關的問題都可以通過組合改進現有的技術架構來解決。

三、大型網站架構演化的價值觀

1. 大型網站架構技術的核心價值是隨網站所需靈活應對

大型網站架構技術的核心價值不是從無到有搭建一個大型的網站,而是能夠伴隨小型網站業務的逐步發展,慢慢演化成一個大型網站。在這個過程中,不需要放棄什麼,不需要推翻什麼,技術選型都是非常重要的,所有的大公司例如FaceBook、Google、淘寶無不遵循這樣一條發展路線

2. 驅動大型網站技術發展的主要力量是網站業務的發展

​ 創新的業務發展模式對網站架構提出了更高的要求,才使得創新的網站架構得以發展成熟。是業務成就了技術,是事業成就了人。而不是相反。

四、網站架構設計誤區

1. 盲目追隨大公司的解決方案

2. 為了技術而技術

3.企圖用技術解決所有問題

文章來源

《大型網站技術架構:核心原理與案例分析》

相關文章