史上最全效能最佳化詳解(9大必備大廠最佳化方案)
來源:mikechen的網際網路架構
效能最佳化基本是一線網際網路公司程式設計師必備的技能,以下我重點講解完整的最佳化方案和方法:包含web網站調優、資料庫、JVM調優、架構調優等方案@mikechen
Web網站最佳化
1、儘可能減少HTTP請求:圖片合併 (css sprites),Js指令碼檔案合併、css檔案合併。
2、減少DNS查詢
3、將css放在頁面最上面,將js放在頁面最下面
4、壓縮js和css
減少檔案體積,去除不必要的空白符、格式符、註釋(即對程式碼進行格式化)
5、把js和css提取出來放在外部檔案中
這一條要靈活運用,把js和css提取出來放在外部檔案的優點是:減少html體積,提高了js和css的複用性,提高日後的可維護性
缺點:增加了http請求,不過這一點可以透過快取來解決。
什麼情況下將js和css寫在頁面內呢,可以分為幾種情況:js和css程式碼比較少;這個頁面不怎麼會訪問
6、避免重定向
重定向就是使用者請求的頁面被轉移到了別的地方,瀏覽器向服務請請求一個頁面,伺服器告訴瀏覽器請求的頁面已經被轉移到另外一個頁面,並告知另一個頁面地址,瀏覽器就再傳送請求到重定向的地址。這樣會增加伺服器和瀏覽器之間的往返次數,影響網站效能。
重定向狀態碼有:301永久重定向 302臨時重定向。304 not modified 並不是真的重定向,它是用來告訴瀏覽器get請求的檔案在快取中,避免重新下載。
7、移除重複指令碼
9、使用ajax快取
ajax的get和post方法:
只要是瀏覽器的get請求,瀏覽器都會使用快取,對於同一地址的請求,伺服器會傳送304狀態碼到瀏覽器,瀏覽器就會使用快取中的資料
post的請求每次都會被執行,瀏覽器不會快取
10、使用Gzip壓縮
11、使用CDN(內容分發網路)
資料庫效能最佳化
資料庫的調優,總的來說分為以下部分:
1.SQL調優:主要集中在索引、減少跨表與大資料join查詢等。
2.資料庫端架構設計最佳化:
透過讀寫分離調整對資料庫的寫操作,透過垂直拆分以及水平拆分(分庫分表)來解決資料庫端連線池瓶頸等問題。
3.連線池調優
可以透過熟悉連線池的原理,以及具體的連線池監控資料,來不斷除錯出最終的連線池引數。
快取效能最佳化
目前分散式快取已經比較成熟,常見的有redis等。
選型考慮
如果資料量小,並且不會頻繁地增長又清空(這會導致頻繁地垃圾回收),那麼可以選擇本地快取。具體的話,如果需要一些策略的支援(比如快取滿的逐出策略),可以考慮Ehcache;如不需要,可以考慮HashMap;如需要考慮多執行緒併發的場景,可以考慮ConcurentHashMap。
快取是否會滿,快取滿了怎麼辦?
對於一個快取服務,理論上來說,隨著快取資料的日益增多,在容量有限的情況下,快取肯定有一天會滿的。如何應對?
① 給快取服務,選擇合適的快取逐出演算法,比如最常見的LRU。
② 針對當前設定的容量,設定適當的警戒值,比如10G的快取,當快取資料達到8G的時候,就開始發出報警,提前排查問題或者擴容。
③ 給一些沒有必要長期儲存的key,儘量設定過期時間。
非同步效能最佳化
使用場景
使用者並不關心或者使用者不需要立即拿到這些事情的處理結果,這種情況就比較適合用非同步的方式處理,這裡的原則就是能非同步就非同步。
常見做法
一種做法,是額外開闢執行緒,這裡可以採用額外開闢一個執行緒或者使用執行緒池的做法,在IO執行緒(處理請求響應)之外的執行緒來處理相應的任務,在IO執行緒中讓response先返回。
如果非同步執行緒處理的任務設計的資料量非常巨大,那麼可以引入阻塞佇列BlockingQueue作進一步的最佳化。具體做法是讓一批非同步執行緒不斷地往阻塞佇列裡扔資料,然後額外起一個處理執行緒,迴圈批次從佇列裡拿預設大小的一批資料,來進行批處理(比如發一個批次的遠端服務請求),這樣進一步提高了效能。
另一種做法,是使用訊息佇列(MQ)中介軟體服務,MQ天生就是非同步的。
JVM效能最佳化
什麼時候調?
透過監控系統對一些機器關鍵指標(gc time、gc count、各個分代的記憶體大小變化、機器的Load值與CPU使用率、JVM的執行緒數等)的監控報警,也可以看gc log和jstat等命令的輸出,再結合線上JVM程式服務的一些關鍵介面的效能資料和請求體驗,基本上就能定位出當前的JVM是否有問題,以及是否需要調優。
調優工具:
Jconsole,jProfile,VisualVM
Jconsole : jdk自帶,功能簡單,但是可以在系統有一定負荷的情況下使用。對垃圾回收演算法有很詳細的跟蹤。詳細說明參考這裡
JProfiler:商業軟體,需要付費。功能強大。詳細說明參考這裡
VisualVM:JDK自帶,功能強大,與JProfiler類似。推薦。
如何調優?
觀察記憶體釋放情況、集合類檢查、物件樹
上面這些調優工具都提供了強大的功能,但是總的來說一般分為以下幾類功能
堆資訊檢視
可檢視堆空間大小分配(年輕代、年老代、持久代分配)
提供即時的垃圾回收功能
垃圾監控(長時間監控回收情況)
檢視堆內類、物件資訊檢視:數量、型別等
物件引用情況檢視
有了堆資訊檢視方面的功能,我們一般可以順利解決以下問題:
--年老代年輕代大小劃分是否合理
--記憶體洩漏
--垃圾回收演算法設定是否合理
執行緒監控
執行緒資訊監控:系統執行緒數量。
執行緒狀態監控:各個執行緒都處在什麼樣的狀態下
Dump執行緒詳細資訊:檢視執行緒內部執行情況
死鎖檢查
熱點分析
CPU熱點:檢查系統哪些方法佔用的大量CPU時間
記憶體熱點:檢查哪些物件在系統中數量最大(一定時間記憶體活物件和銷燬物件一起統計)
這兩個東西對於系統最佳化很有幫助。我們可以根據找到的熱點,有針對性的進行系統的瓶頸查詢和進行系統最佳化,而不是漫無目的的進行所有程式碼的最佳化。
快照
快照是系統執行到某一時刻的一個定格。在我們進行調優的時候,不可能用眼睛去跟蹤所有系統變化,依賴快照功能,我們就可以進行系統兩個不同執行時刻,物件(或類、執行緒等)的不同,以便快速找到問題
舉例說,我要檢查系統進行垃圾回收以後,是否還有該收回的物件被遺漏下來的了。那麼,我可以在進行垃圾回收前後,分別進行一次堆情況的快照,然後對比兩次快照的物件情況。
記憶體洩漏檢查
記憶體洩漏是比較常見的問題,而且解決方法也比較通用,這裡可以重點說一下,而執行緒、熱點方面的問題則是具體問題具體分析了。
記憶體洩漏一般可以理解為系統資源(各方面的資源,堆、棧、執行緒等)在錯誤使用的情況下,導致使用完畢的資源無法回收(或沒有回收),從而導致新的資源分配請求無法完成,引起系統錯誤。
記憶體洩漏對系統危害比較大,因為他可以直接導致系統的崩潰。
效能最佳化總結
大型網站的效能瓶頸大部分瓶頸都在資料庫端,所以效能調優總是沿著如何減少對後端的壓力來操作,資料庫端的瓶頸經常會造成應用端的雪崩(比如:sql查詢過長,長事務)等,所以需要及時解決後端效能。
1.透過讀寫分離、垂直拆分、水平拆分降低對資料庫後端的壓力。
2.透過最佳化sql語句,索引等,縮短對sql的查詢時間。
2.透過快取以及CDN來解決對圖片、檔案等的讀操作,避免對資料庫產生壓力。
3.透過對web端的最佳化,js、css等壓縮,提高大檔案讀取時間,儘量依賴CDN。
4.還有一個重點就是監控:對JVM、執行緒、sql查詢時間等健康指標就行及時監控,透過監控及時發現瓶頸,及時最佳化。
以上
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024924/viewspace-2944079/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 史上最全SQL最佳化方案SQL
- 9大效能最佳化方案詳解(圖文全面總結)
- 史上最全webview詳解WebView
- 牛逼了,史上 MySQL 最全最佳化指南,快收藏起來!MySql
- nginx引數詳解與效能最佳化(-)Nginx
- 專案效能最佳化方案
- Java泛型詳解,史上最全圖文詳解!Java泛型
- 頂級大廠Quora如何最佳化資料庫效能?資料庫
- 大資料交叉報表效能最佳化案例(方案)大資料
- Java垃圾回收機制詳解及效能最佳化詳解。Java
- 史上最全的大廠Mysql面試題在這裡!MySql面試題
- oracle大表效能最佳化Oracle
- 史上最詳細的一線大廠Mysql面試題詳解MySql面試題
- MySQL大表最佳化方案MySql
- Impala 5.7效能最佳化系列-10大最佳化思路
- 史上最全SQL優化方案SQL優化
- 史上最全 Redis 高可用解決方案總結Redis
- 高手詳解SQL效能最佳化十條經驗SQL
- 史上最全的MYSQL備份方法MySql
- 史上最全解析Android訊息推送解決方案Android
- 多庫取數的效能最佳化方案
- 史上最全 Jenkins Pipeline流水線詳解Jenkins
- oracle SQL效能最佳化大總結OracleSQL
- Unity效能最佳化CPU最佳化Unity
- 【史上最全】設計師必備的83個設計資源網站網站
- 最佳化方案
- Mysql資料庫大表最佳化方案和Mysql大表最佳化步驟MySql資料庫
- SQL Server最佳化必備之任務排程SQLServer
- 35個Redis企業級效能最佳化點與解決方案Redis
- 史上最全最詳細的APP運營推廣策劃方案APP
- 史上最全最詳細的新媒體運營工具(121種),自媒體人必備工具
- 【效能最佳化】ORACLE資料庫效能最佳化概述Oracle資料庫
- 二十三、資料庫效能最佳化方案資料庫
- 史上最全執行緒池超詳解(建議收藏)執行緒
- 前端效能最佳化——圖片最佳化前端
- Unity效能最佳化GPU渲染最佳化UnityGPU
- 前端效能最佳化百問大雜燴前端
- 2019大廠面試必備面試