第4篇 架構師
14 架構師領導藝術 190
14.1 關注人而不是產品 191
一定要堅信:一群優秀的人做一件他們熱愛的事,一定能取得成功。
領導的真諦:尋找一個值得奮鬥的目標,營造一個讓大家都能最大限度發揮自我價值的工作氛圍。
14.2 發掘人的優秀 191
發掘人的優秀比發掘優秀的人更有意義:調查某個技術功能的實現,實際上有開原始碼實現
14.3 共享美好藍圖 192
藍圖應該是表述清楚的:產品要做什麼,不做什麼,要達到什麼業務目標
藍圖應該是形象的:產品能為使用者創造什麼價值,能實現什麼市場目標,產品最終會長成什麼樣
藍圖應該是簡單的:能一句話說明白,我們在做什麼
14.4 共同參與架構 193
1.不要只有架構師一個人擁有架構:專案參與者對架構充分討論,大家越覺得自己是專案架構的貢獻者,越願意對開發過程承擔責任,越願意共同維護架構和改善軟體。
2.讓其他人維護框架或架構文件:框架是架構的實現。
14.5 學會妥協 194
不在專案中證明自己是正確的,你是來做軟體的,不是做老大的。
14.6 成就他人 194
每個人都覺得自己在專案中至關重要。
15 網站架構師職場攻略 196
1.把”我的問題“表述成”我們的問題“
2.給上司提封閉式問題,下屬提開放式問題,”元芳,你怎麼看?“,沒有”大人,你怎麼看?“
3.提出問題而不是批評人
4.用贊同的方式題出問題
5.在解決我的問題之前,先解決你的問題
6.適當逃避問題,員工提不靠譜的方案,直接說”不行“會打消他積極性,適當逃避
16 漫話網站架構師 203
略
附 大型網站架構技術一覽 208
1.前端架構
前端指使用者請求到達網站應用伺服器之前經歷的環節,通常不包含網站業務邏輯,不處理動態內容。
瀏覽器優化技術
並不是優化瀏覽器,而是通過優化響應頁面,加快瀏覽器頁面的載入和顯示,常用的有頁面快取、合併HTTP減少請求次數、使用頁面壓縮等。
CDN
內容分發網路,部署在網路運營商機房,通過將靜態頁面內容分發到離使用者最近最近的CDN伺服器,使使用者可以通過最短路徑獲取內容。
動靜分離,靜態資源獨立部署
靜態資源,如JS、CSS等檔案部署在專門的伺服器叢集上,和Web應用動態內容服務分離,並使用專門的(二級)域名。
圖片服務
圖片不是指網站Logo、按鈕圖示等,這些檔案屬於上面提到的靜態資源,應該和JS、CSS部署在一起。這裡的圖片指使用者上傳的圖片,如產品圖片、使用者頭像等,圖片服務同
樣適用獨立部署的圖片伺服器叢集,並使用獨立(二級)域名。
反向代理
部署在網站機房,在應用伺服器、靜態資源伺服器、圖片伺服器之前,提供頁面快取服務。
DNS
域名服務,將域名解析成IP地址,利用DNS可以實現DNS負載均衡,配置CDN也需要修改DNS,使域名解析後指向CDN伺服器。
2.應用層架構
應用層是處理網站主要業務邏輯的地方。
開發框架
網站業務是多變的,網站的大部分軟體工程師都是在加班加點開發網站業務,一個好的開發框架至關重要。一個好的開發框架應該能夠分離關注面,使美工、開發工程師可以各
司其事,易於協作。同時還應該內建一些安全策略,防護Web用攻擊。
頁面渲染
將分別開發維護的動態內容和靜態頁面模板整合起來,組合成最終顯示給使用者的完整頁面。
負載均衡
將多臺應用伺服器組成一個叢集,通過負載均衡技術將使用者請求分發到不同的伺服器上,以應對大量使用者同時訪問時產生的高併發負載壓力。
Session管理
為了實現高可用的應用伺服器叢集,應用伺服器通常設計為無狀態,不儲存使用者請求上下文資訊,但是網站業務通常需要保持使用者會話資訊,需要專門的機制管理Session,使
叢集內甚至跨叢集的應用伺服器可以共享Session。
動態頁面靜態化
對於訪問量特別大而更新又不很頻繁的動態頁面,可以將其靜態化,即生成一個靜態頁面,利用靜態頁面的優化手段加速使用者訪問,如反向代理、CDN、瀏覽器快取等。
業務拆分
將複雜而龐大的業務拆分開來,形成多個規模較小的產品,獨立開發、部署、維護,除了降低系統耦合度,也便於資料庫業務分庫。按業務對關聯式資料庫進行拆分,技術難度相
對較小,而效果又相對較好。
虛擬化伺服器
將一臺物理伺服器虛擬化成多型虛擬伺服器,對於併發訪問較低的業務,更容易用較少的資源構架高可用的應用伺服器叢集。
3.服務層架構
提供基礎服務,供應用層呼叫,完成網站業務。
分散式訊息
利用訊息佇列機制,實現業務和業務、業務和服務之間的非同步訊息傳送及低耦合的業務關係。
分散式服務
提供高效能、低耦合、易複用、易管理的分散式服務,在網站實現面向服務架構(SOA)。
分散式快取
通過可伸縮的伺服器叢集提供大規模熱點資料的快取服務,是網站效能優化的重要手段。
分散式配置
系統執行需要配置許多引數,如果這些引數需要修改,比如分散式快取叢集加入新的快取伺服器,需要修改應用程式客戶端的快取伺服器列表配置,並重啟應用程式伺服器。分
布式配置在系統執行期提供配置動態推送服務,將配置修改實時推送到應用系統,無需重啟伺服器。
4.儲存層架構
提供資料、檔案的持久化儲存訪問與管理服務。
分散式檔案
網站線上業務需要儲存的檔案大部分都是圖片、網頁、視訊等比較小的檔案,但是這些檔案的數量非常龐大,而且通常都在持續增加,需要伸縮性設計比較好的分散式檔案系統。
關聯式資料庫
大部分萬丈的主要業務是基於關聯式資料庫開發的,但是關聯式資料庫對叢集伸縮性的支援表較差。通過在應用程式的資料訪問層增加資料庫訪問的路由功能,根據業務配置將資料
庫訪問路由到不同的物理資料庫上,可實現關聯式資料庫的分散式訪問。
NoSQL資料庫
目前各種NoSQL資料庫層出不窮,在記憶體管理、資料模型、叢集分散式管理等方面各有優勢,不過從社群活動性角度看,HBase無疑是目前最好的。
資料同步
在支援全球範圍內資料共享的分散式資料庫技術成熟之前,擁有多個資料中心的網站必須在多個資料中心之間進行資料同步,以保證每個資料中心都擁有完整的資料。在實踐
中,為了減輕資料庫壓力,將資料庫的事物日誌(或者NoSQL的寫操作Log)同步到其他資料中心,根據Log進行資料重演,實現資料同步。
5.後臺架構
網站應用中,除了要處理使用者的實時訪問請求外,還有一些後臺非實時資料分析要處理。
搜尋引擎
即使是網站內部的搜尋引擎,也需要進行資料增量更新及全量更新、構建索引等。這些操作通過後臺系統定時執行。
資料倉儲
根據離線資料,提供資料分析與資料探勘服務。
推薦系統
社交網站及購物網站通過挖掘人與人之間的關係,人和商品之間的關係,發展潛在的人際關係和購物興趣,為使用者提供個性化推薦服務。
6.資料採集與監控
監控網站訪問情況與系統執行情況,為網站運營決策和運維管理提供支援保障。
瀏覽器資料採集
通過在網站頁面中嵌入JS指令碼採集使用者瀏覽器環境與操作記錄,分析使用者行為。
伺服器業務資料採集
伺服器業務資料包括兩種,一種是採集在伺服器端記錄的使用者請求操作日誌;一種是採集應用程式執行期業務資料,比如待處理訊息數目等。
伺服器效能資料採集
採集伺服器效能資料,如系統負載、記憶體使用率、網路卡流量等。
系統監控
將前述採集的資料以圖表的方式展示,以便運營和運維人員監控網站執行狀況,做到這一步僅僅是系統監視。更先進的做法是根據採集的資料進行自動化運維,自動處理系統異
常狀況,是吸納自動化控制。
系統報警
如果採集來的資料超過預設的正常情況的閥值,比如系統負載過高,就通過郵件、簡訊、語音電話等方式發出警報訊號,等待工程師干預。
7.安全架構
保護網站免遭攻擊及敏感資訊洩露。
Web攻擊
以HTTP請求的方式發起的攻擊,危害最大的就是XSS和SQL隱碼攻擊。但是隻要措施得當,這兩種攻擊都是比較容易防範的。
資料保護
敏感資訊加密傳輸與儲存,保護網站和使用者資產。
8.資料中心機房架構
大型網站需要的伺服器規模數以十萬計,機房物理架構也需要關注。
機房架構
對於一個擁有十萬臺伺服器的大型網站,每臺伺服器耗電(包括伺服器本身耗電及空調耗電)每年大約需要人民幣2000元,那麼網站每年機房電費就需要兩億人民幣。資料中
心能耗問題日趨嚴重,Google、Facebook選擇資料中心地理位置的時候趨向選擇散熱良好,供電充裕的地方。
機櫃架構
包括機櫃大小,網線佈局、指示燈規格、不間斷電源、電壓規格(是48V直流電還是220V民用交流電)等一系列問題。
伺服器架構
大型網站由於伺服器採購規模龐大,大都採用定製伺服器的方式代替購買伺服器整機。根據網站應用需求,定製硬碟、記憶體、甚至CPU,同時去除不必要的外設介面(顯示器輸出介面,滑鼠、鍵盤輸入介面),並使空間結構利於散熱。