史上最全效能最佳化詳解(9大必備大廠最佳化方案)

碼農談IT發表於2023-04-06

來源:mikechen的網際網路架構

效能最佳化基本是一線網際網路公司程式設計師必備的技能,以下我重點講解完整的最佳化方案和方法:包含web網站調優、資料庫、JVM調優、架構調優等方案@mikechen



Web網站最佳化

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

1、儘可能減少HTTP請求:圖片合併 (css sprites),Js指令碼檔案合併、css檔案合併。

2、減少DNS查詢

3、將css放在頁面最上面,將js放在頁面最下面

4、壓縮js和css

減少檔案體積,去除不必要的空白符、格式符、註釋(即對程式碼進行格式化)

5、把js和css提取出來放在外部檔案中

這一條要靈活運用,把js和css提取出來放在外部檔案的優點是:減少html體積,提高了js和css的複用性,提高日後的可維護性

缺點:增加了http請求,不過這一點可以透過快取來解決。

什麼情況下將js和css寫在頁面內呢,可以分為幾種情況:js和css程式碼比較少;這個頁面不怎麼會訪問

6、避免重定向

重定向就是使用者請求的頁面被轉移到了別的地方,瀏覽器向服務請請求一個頁面,伺服器告訴瀏覽器請求的頁面已經被轉移到另外一個頁面,並告知另一個頁面地址,瀏覽器就再傳送請求到重定向的地址。這樣會增加伺服器和瀏覽器之間的往返次數,影響網站效能。

重定向狀態碼有:301永久重定向 302臨時重定向。304 not modified 並不是真的重定向,它是用來告訴瀏覽器get請求的檔案在快取中,避免重新下載。

7、移除重複指令碼

9、使用ajax快取

ajax的get和post方法:

只要是瀏覽器的get請求,瀏覽器都會使用快取,對於同一地址的請求,伺服器會傳送304狀態碼到瀏覽器,瀏覽器就會使用快取中的資料

post的請求每次都會被執行,瀏覽器不會快取

10、使用Gzip壓縮

11、使用CDN(內容分發網路)



資料庫效能最佳化

資料庫的調優,總的來說分為以下部分:

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

1.SQL調優:主要集中在索引、減少跨表與大資料join查詢等。

2.資料庫端架構設計最佳化:

透過讀寫分離調整對資料庫的寫操作,透過垂直拆分以及水平拆分(分庫分表)來解決資料庫端連線池瓶頸等問題。

3.連線池調優

可以透過熟悉連線池的原理,以及具體的連線池監控資料,來不斷除錯出最終的連線池引數。


快取效能最佳化

目前分散式快取已經比較成熟,常見的有redis等。

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

選型考慮

如果資料量小,並且不會頻繁地增長又清空(這會導致頻繁地垃圾回收),那麼可以選擇本地快取。具體的話,如果需要一些策略的支援(比如快取滿的逐出策略),可以考慮Ehcache;如不需要,可以考慮HashMap;如需要考慮多執行緒併發的場景,可以考慮ConcurentHashMap。

快取是否會滿,快取滿了怎麼辦?

對於一個快取服務,理論上來說,隨著快取資料的日益增多,在容量有限的情況下,快取肯定有一天會滿的。如何應對?

① 給快取服務,選擇合適的快取逐出演算法,比如最常見的LRU。

② 針對當前設定的容量,設定適當的警戒值,比如10G的快取,當快取資料達到8G的時候,就開始發出報警,提前排查問題或者擴容。

③ 給一些沒有必要長期儲存的key,儘量設定過期時間。


非同步效能最佳化

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

使用場景

使用者並不關心或者使用者不需要立即拿到這些事情的處理結果,這種情況就比較適合用非同步的方式處理,這裡的原則就是能非同步就非同步。

常見做法

一種做法,是額外開闢執行緒,這裡可以採用額外開闢一個執行緒或者使用執行緒池的做法,在IO執行緒(處理請求響應)之外的執行緒來處理相應的任務,在IO執行緒中讓response先返回。

如果非同步執行緒處理的任務設計的資料量非常巨大,那麼可以引入阻塞佇列BlockingQueue作進一步的最佳化。具體做法是讓一批非同步執行緒不斷地往阻塞佇列裡扔資料,然後額外起一個處理執行緒,迴圈批次從佇列裡拿預設大小的一批資料,來進行批處理(比如發一個批次的遠端服務請求),這樣進一步提高了效能。

另一種做法,是使用訊息佇列(MQ)中介軟體服務,MQ天生就是非同步的。


JVM效能最佳化

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

什麼時候調?

透過監控系統對一些機器關鍵指標(gc time、gc count、各個分代的記憶體大小變化、機器的Load值與CPU使用率、JVM的執行緒數等)的監控報警,也可以看gc log和jstat等命令的輸出,再結合線上JVM程式服務的一些關鍵介面的效能資料和請求體驗,基本上就能定位出當前的JVM是否有問題,以及是否需要調優。

調優工具:

Jconsole,jProfile,VisualVM

Jconsole : jdk自帶,功能簡單,但是可以在系統有一定負荷的情況下使用。對垃圾回收演算法有很詳細的跟蹤。詳細說明參考這裡

JProfiler:商業軟體,需要付費。功能強大。詳細說明參考這裡

VisualVM:JDK自帶,功能強大,與JProfiler類似。推薦。

如何調優?

觀察記憶體釋放情況、集合類檢查、物件樹

上面這些調優工具都提供了強大的功能,但是總的來說一般分為以下幾類功能

堆資訊檢視

可檢視堆空間大小分配(年輕代、年老代、持久代分配)

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

提供即時的垃圾回收功能

垃圾監控(長時間監控回收情況)

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

檢視堆內類、物件資訊檢視:數量、型別等

物件引用情況檢視

有了堆資訊檢視方面的功能,我們一般可以順利解決以下問題:

--年老代年輕代大小劃分是否合理

--記憶體洩漏

--垃圾回收演算法設定是否合理

執行緒監控

史上最全效能最佳化詳解(9大必備大廠最佳化方案)

執行緒資訊監控:系統執行緒數量。

執行緒狀態監控:各個執行緒都處在什麼樣的狀態下

Dump執行緒詳細資訊:檢視執行緒內部執行情況

死鎖檢查

熱點分析

CPU熱點:檢查系統哪些方法佔用的大量CPU時間

記憶體熱點:檢查哪些物件在系統中數量最大(一定時間記憶體活物件和銷燬物件一起統計)

這兩個東西對於系統最佳化很有幫助。我們可以根據找到的熱點,有針對性的進行系統的瓶頸查詢和進行系統最佳化,而不是漫無目的的進行所有程式碼的最佳化。

快照

快照是系統執行到某一時刻的一個定格。在我們進行調優的時候,不可能用眼睛去跟蹤所有系統變化,依賴快照功能,我們就可以進行系統兩個不同執行時刻,物件(或類、執行緒等)的不同,以便快速找到問題

舉例說,我要檢查系統進行垃圾回收以後,是否還有該收回的物件被遺漏下來的了。那麼,我可以在進行垃圾回收前後,分別進行一次堆情況的快照,然後對比兩次快照的物件情況。

記憶體洩漏檢查

記憶體洩漏是比較常見的問題,而且解決方法也比較通用,這裡可以重點說一下,而執行緒、熱點方面的問題則是具體問題具體分析了。

記憶體洩漏一般可以理解為系統資源(各方面的資源,堆、棧、執行緒等)在錯誤使用的情況下,導致使用完畢的資源無法回收(或沒有回收),從而導致新的資源分配請求無法完成,引起系統錯誤。

記憶體洩漏對系統危害比較大,因為他可以直接導致系統的崩潰。


效能最佳化總結

大型網站的效能瓶頸大部分瓶頸都在資料庫端,所以效能調優總是沿著如何減少對後端的壓力來操作,資料庫端的瓶頸經常會造成應用端的雪崩(比如:sql查詢過長,長事務)等,所以需要及時解決後端效能。

1.透過讀寫分離、垂直拆分、水平拆分降低對資料庫後端的壓力。

2.透過最佳化sql語句,索引等,縮短對sql的查詢時間。

2.透過快取以及CDN來解決對圖片、檔案等的讀操作,避免對資料庫產生壓力。

3.透過對web端的最佳化,js、css等壓縮,提高大檔案讀取時間,儘量依賴CDN。

4.還有一個重點就是監控:對JVM、執行緒、sql查詢時間等健康指標就行及時監控,透過監控及時發現瓶頸,及時最佳化。

以上


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024924/viewspace-2944079/,如需轉載,請註明出處,否則將追究法律責任。

相關文章