1. 大型分散式網站架構概述
1.1. 大型網站的特點
使用者多，分佈廣泛
大流量，高併發
海量資料，服務高可用
安全環境惡劣，易受網路攻擊
功能多，變更快，頻繁釋出
從小到大，漸進發展
以使用者為中心
免費服務，付費體驗
1.2. 大型網站架構目標
高效能：提供快速的訪問體驗。
高可用：網站服務一直可以正常訪問。
可伸縮：通過硬體增加/減少，提高/降低處理能力。
安全性：提供網站安全訪問和資料加密，安全儲存等策略。
擴充套件性：方便的通過新增/移除方式，增加/減少新的功能/模組。
敏捷性：隨需應變，快速響應；
1.3. 大型網站架構模式
分層：一般可分為，應用層，服務層，資料層，管理層，分析層；
分割：一般按照業務/模組/功能特點進行劃分，比如應用層分為首頁，使用者中心。
分散式：將應用分開部署（比如多臺物理機），通過遠端呼叫協同工作。
叢集：一個應用/模組/功能部署多份（如：多臺物理機），通過負載均衡共同提供對外訪問。
快取：將資料放在距離應用或使用者最近的位置，加快訪問速度。
非同步：將同步的操作非同步化。客戶端發出請求，不等待服務端響應，等服務端處理完畢後，使用通知或輪詢的方式告知請求方。一般指：請求——響應——通知 模式。
冗餘：增加副本，提高可用性，安全性，效能。
安全：對已知問題有有效的解決方案，對未知/潛在問題建立發現和防禦機制。
自動化：將重複的，不需要人工參與的事情，通過工具的方式，使用機器完成。
敏捷性：積極接受需求變更，快速響應業務發展需求。
1.4. 高效能架構
以使用者為中心，提供快速的網頁訪問體驗。主要引數有較短的響應時間，較大的併發處理能力，較高的吞吐量，穩定的效能引數。
可分為前端優化，應用層優化，程式碼層優化，儲存層優化。
前端優化：網站業務邏輯之前的部分；
瀏覽器優化：減少 Http 請求數，使用瀏覽器快取，啟用壓縮，Css Js 位置，Js 非同步，減少 Cookie 傳輸；
CDN 加速，反向代理；
應用層優化：處理網站業務的伺服器。使用快取，非同步，叢集
程式碼優化：合理的架構，多執行緒，資源複用（物件池，執行緒池等），良好的資料結構，JVM 調優，單例，Cache 等；
儲存優化：快取，固態硬碟，光纖傳輸，優化讀寫，磁碟冗餘，分散式儲存（HDFS），NOSQL 等；
1.5. 高可用架構
大型網站應該在任何時候都可以正常訪問。正常提供對外服務。因為大型網站的複雜性，分散式，廉價伺服器，開源資料庫，作業系統等特點。要保證高可用是很困難的，也就是說網站的故障是不可避免的。
如何提高可用性，就是需要迫切解決的問題。首先，需要從架構級別，在規劃的時候，就考慮可用性。行業內一般用幾個 9 表示可用性指標。比如四個 9（99.99），一年內允許的不可用時間是 53 分鐘。
不同層級使用的策略不同，一般採用冗餘備份和失效轉移解決高可用問題。
應用層：一般設計為無狀態的，對於每次請求，使用哪一臺伺服器處理是沒有影響的。一般使用負載均衡技術（需要解決 Session 同步問題），實現高可用。
服務層：負載均衡，分級管理，快速失敗（超時設定），非同步呼叫，服務降級，冪等設計等。
資料層：冗餘備份（冷，熱備[同步，非同步]，溫備），失效轉移（確認，轉移，恢復）。資料高可用方面著名的理論基礎是 CAP 理論（永續性，可用性，資料一致性[強一致，使用者一致，最終一致]）
1.6. 可伸縮架構
伸縮性是指在不改變原有架構設計的基礎上，通過新增/減少硬體（伺服器）的方式，提高/降低系統的處理能力。
應用層：對應用進行垂直或水平切分。然後針對單一功能進行負載均衡（DNS,HTTP[反向代理],IP,鏈路層）。
服務層：與應用層類似；
資料層：分庫，分表，NOSQL 等；常用演算法 Hash，一致性 Hash。
1.7. 可擴充套件架構
可以方便的進行功能模組的新增/移除，提供程式碼/模組級別良好的可擴充套件性。
模組化，元件化：高內聚，內耦合，提高複用性，擴充套件性。
穩定介面：定義穩定的介面，在介面不變的情況下，內部結構可以“隨意”變化。
設計模式：應用物件導向思想，原則，使用設計模式，進行程式碼層面的設計。
訊息佇列：模組化的系統，通過訊息佇列進行互動，使模組之間的依賴解耦。
分散式服務：公用模組服務化，提供其他系統使用，提高可重用性，擴充套件性。
1.8. 安全架構
對已知問題有有效的解決方案，對未知/潛在問題建立發現和防禦機制。對於安全問題，首先要提高安全意識，建立一個安全的有效機制，從政策層面，組織層面進行保障。比如伺服器密碼不能洩露，密碼每月更新，並且三次內不能重複；每週安全掃描等。以制度化的方式，加強安全體系的建設。同時，需要注意與安全有關的各個環節。安全問題不容忽視。包括基礎設施安全，應用系統安全，資料保密安全等。
基礎設施安全：硬體採購，作業系統，網路環境方面的安全。一般採用，正規渠道購買高質量的產品，選擇安全的作業系統，及時修補漏洞，安裝防毒軟體防火牆。防範病毒，後門。設定防火牆策略，建立 DDOS 防禦系統，使用攻擊檢測系統，進行 子網隔離等手段。
應用系統安全：在程式開發時，對已知常用問題，使用正確的方式，在程式碼層面解決掉。防止跨站指令碼攻擊（XSS），注入攻擊，跨站請求偽造（CSRF），錯誤資訊，HTML 註釋，檔案上傳，路徑遍歷等。還可以使用 Web 應用防火牆（比如：ModSecurity），進行安全漏洞掃描等措施，加強應用級別的安全。
資料保密安全：儲存安全（存在在可靠的裝置，實時，定時備份），儲存安全（重要的資訊加密儲存，選擇合適的人員複雜儲存和檢測等），傳輸安全（防止資料竊取和資料篡改）；
常用的加解密演算法（單項雜湊加密[MD5,SHA]，對稱加密[DES,3DES,RC]），非對稱加密[RSA]等。
1.9. 敏捷性
網站的架構設計，運維管理要適應變化，提供高伸縮性，高擴充套件性。方便的應對快速的業務發展，突增高流量訪問等要求。
除上面介紹的架構要素外，還需要引入敏捷管理，敏捷開發的思想。使業務，產品，技術，運維統一起來，隨需應變，快速響應。
1.10. 大型架構舉例
以上採用七層邏輯架構，第一層客戶層，第二層前端優化層，第三層應用層，第四層服務層，第五層資料儲存層，第六層大資料儲存層，第七層大資料處理層。
客戶層：支援 PC 瀏覽器和手機 APP。差別是手機 APP 可以直接訪問通過 IP 訪問，反向代理伺服器。
前端層：使用 DNS 負載均衡，CDN 本地加速以及反向代理服務；
應用層：網站應用叢集；按照業務進行垂直拆分，比如商品應用，會員中心等；
服務層：提供公用服務，比如使用者服務，訂單服務，支付服務等；
資料層：支援關係型資料庫叢集（支援讀寫分離），NOSQL 叢集，分散式檔案系統叢集；以及分散式 Cache；
大資料儲存層：支援應用層和服務層的日誌資料收集，關聯式資料庫和 NOSQL 資料庫的結構化和半結構化資料收集；
大資料處理層：通過 Mapreduce 進行離線資料分析或 Storm 實時資料分析，並將處理後的資料存入關係型資料庫。（實際使用中，離線資料和實時資料會按照業務要求進行分類處理，並存入不同的資料庫中，供應用層或服務層使用）。
2. 電商網站架構案例
2.1. 網站初級架構
一般網站，剛開始的做法，是三臺伺服器，一臺部署應用，一臺部署資料庫，一臺部署 NFS 檔案系統。
這是前幾年比較傳統的做法，之前見到一個網站 10 萬多會員，垂直服裝設計門戶，N 多圖片。使用了一臺伺服器部署了應用，資料庫以及圖片儲存。出現了很多效能問題。
如下圖：
但是，目前主流的網站架構已經發生了翻天覆地的變化。一般都會採用叢集的方式，進行高可用設計。至少是下面這個樣子。
（1） 使用叢集對應用伺服器進行冗餘，實現高可用；（負載均衡裝置可與應用一塊部署）
使用資料庫主備模式，實現資料備份和高可用；
2.2. 系統容量預估
預估步驟：
（1） 註冊使用者數-日均 UV 量-每日的 PV 量-每天的併發量；
（2） 峰值預估：平常量的 2~3 倍；
（3） 根據併發量（併發，事務數），儲存容量計算系統容量。
客戶需求：3~5 年使用者數達到 1000 萬註冊使用者；
每秒併發數預估：
（1） 每天的 UV 為 200 萬（二八原則）；
（2） 每日每天點選瀏覽 30 次；
（3） PV 量：200*30=6000 萬；
（4） 集中訪問量：24
（5） 每分併發量：4.8*60=288 分鐘，每分鐘訪問 4800/288=16.7 萬（約等於）；
（6） 每秒併發量：16.7 萬/60=2780（約等於）；
（7） 假設：高峰期為平常值的三倍，則每秒的併發數可以達到 8340 次。
（8） 1 毫秒=1.3 次訪問；
沒好好學數學後悔了吧？！（不知道以上算是否有錯誤，呵呵~~）
伺服器預估：（以 tomcat 伺服器舉例）
（1） 按一臺 web 伺服器，支援每秒 300 個併發計算。平常需要 10 臺伺服器（約等於）；[tomcat 預設配置是 150]
（2） 高峰期：需要 30 臺伺服器；
容量預估：70/90 原則
系統 CPU 一般維持在 70%左右的水平，高峰期達到 90%的水平，是不浪費資源，並比較穩定的。記憶體，IO 類似。
以上預估僅供參考，因為伺服器配置，業務邏輯複雜度等都有影響。在此 CPU，硬碟，網路等不再進行評估。
2.3. 網站架構分析
根據以上預估，有幾個問題：
需要部署大量的伺服器，高峰期計算，可能要部署 30 臺 Web 伺服器。並且這三十臺伺服器，只有秒殺，活動時才會用到，存在大量的浪費。
所有的應用部署在同一臺伺服器，應用之間耦合嚴重。需要進行垂直切分和水平切分。
大量應用存在冗餘程式碼
伺服器 SESSION 同步耗費大量記憶體和網路頻寬
資料需要頻繁訪問資料庫，資料庫訪問壓力巨大。
大型網站一般需要做以下架構優化（優化是架構設計時，就要考慮的，一般從架構/程式碼級別解決，調優主要是簡單引數的調整，比如 JVM 調優；如果調優涉及大量程式碼改造，就不是調優了，屬於重構）：
業務拆分
應用叢集部署（分散式部署，叢集部署和負載均衡）
多級快取
單點登入（分散式 Session）
資料庫叢集（讀寫分離，分庫分表）
服務化
訊息佇列
其他技術
2.4. 網站架構優化
業務拆分
根據業務屬性進行垂直切分，劃分為產品子系統，購物子系統，支付子系統，評論子系統，客服子系統，介面子系統（對接如進銷存，簡訊等外部系統）。
根據業務子系統進行等級定義，可分為核心系統和非核心繫統。核心系統：產品子系統，購物子系統，支付子系統；非核心：評論子系統，客服子系統，介面子系統。
業務拆分作用：提升為子系統可由專門的團隊和部門負責，專業的人做專業的事，解決模組之間耦合以及擴充套件性問題；每個子系統單獨部署，避免集中部署導致一個應用掛了，全部應用不可用的問題。
等級定義作用：用於流量突發時，對關鍵應用進行保護，實現優雅降級；保護關鍵應用不受到影響。
拆分後的架構圖：
參考部署方案 2
（1） 如上圖每個應用單獨部署
（2） 核心系統和非核心繫統組合部署
應用叢集部署（分散式，叢集，負載均衡）
分散式部署：將業務拆分後的應用單獨部署，應用直接通過 RPC 進行遠端通訊；
叢集部署：電商網站的高可用要求，每個應用至少部署兩臺伺服器進行叢集部署；
負載均衡：是高可用系統必須的，一般應用通過負載均衡實現高可用，分散式服務通過內建的負載均衡實現高可用，關係型資料庫通過主備方式實現高可用。
叢集部署後架構圖：
多級快取
快取按照存放的位置一般可分為兩類：本地快取和分散式快取。本案例採用二級快取的方式，進行快取的設計。一級快取為本地快取，二級快取為分散式快取。（還有頁面快取，片段快取等，那是更細粒度的劃分）
一級快取，快取資料字典，和常用熱點資料等基本不可變/有規則變化的資訊，二級快取快取需要的所有快取。當一級快取過期或不可用時，訪問二級快取的資料。如果二級快取也沒有，則訪問資料庫。
快取的比例，一般 1:4，即可考慮使用快取。（理論上是 1:2 即可）。
根據業務特性可使用以下快取過期策略：
（1） 快取自動過期；
（2） 快取觸發過期；
單點登入（分散式 Session）
系統分割為多個子系統，獨立部署後，不可避免的會遇到會話管理的問題。一般可採用 Session 同步，Cookies，分散式 Session 方式。電商網站一般採用分散式 Session 實現。
再進一步可以根據分散式 Session，建立完善的單點登入或賬戶管理系統。
流程說明
（1） 使用者第一次登入時，將會話資訊（使用者 Id 和使用者資訊），比如以使用者 Id 為 Key，寫入分散式 Session；
（2） 使用者再次登入時，獲取分散式 Session，是否有會話資訊，如果沒有則調到登入頁；
（3） 一般採用 Cache 中介軟體實現，建議使用 Redis，因為它有持久化功能，方便分散式 Session 當機後，可以從持久化儲存中載入會話資訊；
（4） 存入會話時，可以設定會話保持的時間，比如 15 分鐘，超過後自動超時；
結合 Cache 中介軟體，實現的分散式 Session，可以很好的模擬 Session 會話。
資料庫叢集（讀寫分離，分庫分表）
大型網站需要儲存海量的資料，為達到海量資料儲存，高可用，高效能一般採用冗餘的方式進行系統設計。一般有兩種方式讀寫分離和分庫分表。
讀寫分離：一般解決讀比例遠大於寫比例的場景，可採用一主一備，一主多備或多主多備方式。
本案例在業務拆分的基礎上，結合分庫分表和讀寫分離。如下圖：
（1） 業務拆分後：每個子系統需要單獨的庫；
（2） 如果單獨的庫太大，可以根據業務特性，進行再次分庫，比如商品分類庫，產品庫；
（3） 分庫後，如果表中有資料量很大的，則進行分表，一般可以按照 Id，時間等進行分表；（高階的用法是一致性 Hash）
（4） 在分庫，分表的基礎上，進行讀寫分離；
相關中介軟體可參考 Cobar（阿里，目前已不在維護），TDDL（阿里），Atlas（奇虎 360），MyCat（在 Cobar 基礎上，國內很多牛人，號稱國內第一開源專案）。
分庫分表後序列的問題，JOIN，事務的問題，會在分庫分表主題分享中，介紹。
服務化
將多個子系統公用的功能/模組，進行抽取，作為公用服務使用。比如本案例的會員子系統就可以抽取為公用的服務。
訊息佇列
訊息佇列可以解決子系統/模組之間的耦合，實現非同步，高可用，高效能的系統。是分散式系統的標準配置。本案例中，訊息佇列主要應用在購物，配送環節。
（1） 使用者下單後，寫入訊息佇列，後直接返回客戶端；
（2） 庫存子系統：讀取訊息佇列資訊，完成減庫存；
（3） 配送子系統：讀取訊息佇列資訊，進行配送；
目前使用較多的 MQ 有 Active MQ,Rabbit MQ,Zero MQ，MS MQ 等，需要根據具體的業務場景進行選擇。建議可以研究下 Rabbit MQ。
其他架構（技術）
除了以上介紹的業務拆分，應用叢集，多級快取，單點登入，資料庫叢集，服務化，訊息佇列外。還有 CDN，反向代理，分散式檔案系統，大資料處理等系統。
此處不詳細介紹，大家可以問度娘/Google，有機會的話也可以分享給大家。
2.5. 架構總結
以上是本次分享的架構總結，其中細節可參考前面分享的內容。其中還有很多可以優化和細化的地方，因為是案例分享，主要針對重要部分做了介紹，工作中需要大家根據具體的業務場景進行架構設計。
以上是電商網站架構案例的分享一共有三篇，從電商網站的需求，到單機架構，逐步演變為常用的，可供參考的分散式架構的原型。除具備功能需求外，還具備一定的高效能，高可用，可伸縮，可擴充套件等非功能質量需求（架構目標）。
免費Java資料需要自己領取，涵蓋了Java、Redis、MongoDB、MySQL、Zookeeper、Spring Cloud、Dubbo高併發分散式等教程，一共30G。
傳送門： mp.weixin.qq.com/s/JzddfH-7y…
