JaCoCo助您毀滅線上殭屍程式碼

ITPUB社群發表於2023-11-02


來源:京東技術

導讀

隨著需求不斷迭代,業務系統的業務程式碼突飛猛進,在你自豪於自己的程式碼量產出很高時,有沒有回頭看看線上真正的客戶使用量又有多少呢??趕快利用jacoco探針深入分析一行行程式碼,讓您看到線上功能執行最真實的一面,參照程式碼覆蓋情況針對性下線和刪除殭屍程式碼,提升產研效能,降低維護成本!




01 
現狀·問題


在今年的敏捷團隊建設中,我透過Suite執行器實現了一鍵自動化單元測試。Juint除了Suite執行器還有哪些執行器呢?由此我的Runner探索之旅開始了!

隨著需求不斷迭代,業務系統的業務程式碼突飛猛進,在你自豪於自己的程式碼量產出很高時,有沒有回頭看看線上真正的客戶使用量又有多少呢?

~費事費力耗費大量人力成本~上線的功能,可能一年沒人使用,如果不進行適當的下線,就會增加系統維護成本,此時就需要計劃刪除無用程式碼。但是我們怎麼知道真實線上的一行行程式碼層面,是否真實在使用,或者真實沒人用,怎麼可以放心刪除下線功能呢!


02 
  

分析原因

  


理解,首先 MCube 會依據模板快取狀態判斷是否需要網路獲取最新模板,當獲取到模板後進行模板載入,載入階段會將產物轉換為檢視樹的結構,轉換完成後將透過表示式引擎解析表示式並取得正確的值,透過事件解析引擎解析使用者自定義事件並完成事件的繫結,完成解析賦值以及事件繫結後進行檢視的渲染,最終將目標頁面展示到螢幕。

實際上多數業務系統都會存在這個通病:線上殭屍程式碼

可能是前期產品對業務場景沒有分析到位

•可能是研發期間需求功能偏離了正確方向
•可能是上線後因外界因素使客戶業務量下降
•······


03 
  

採取措施

  


理解,首先 MCube 會依據模板快取狀態判斷是否需要網路獲取最新模板,當獲取到模板後進行模板載入,載入階段會將產物轉換為檢視樹的結構,轉換完成後將透過表示式引擎解析表示式並取得正確的值,透過事件解析引擎解析使用者自定義事件並完成事件的繫結,完成解析賦值以及事件繫結後進行檢視的渲染,最終將目標頁面展示到螢幕。
問產品經理哪些能下線?NO 沒人敢承諾
觀測 UMP介面是否有流量?NO 只知道介面維度,有流量的介面難道所有程式碼都有用麼
使用jacoco(Java Code Coverage)進行線上程式碼分析,對系統做瘦身。
Jacoco本質上是一個測試覆蓋率工具,透過ASM位元組碼增強技術在原始碼中加入探針從而獲取程式碼覆蓋率。Jacoco主要是透過Jave agent在main函式執行之前透過指定方法在執行的程式碼中加入探針來記錄程式碼是否被執行過。
Java agent是Java提供的一個啟動引數,有別於代理方式的動態增強和annotation processor的編譯時增強,該引數透過指定路徑的jar包中的premain方法將在main方法執行之前被呼叫增強原始碼,透過實現該方法我們可以對載入的Class檔案進行修改原始碼增強,使用此技術的還有大部分APM工具。


04 
  實踐步驟  


理解,首先 MCube 會依據模板快取狀態判斷是否需要網路獲取最新模板,當獲取到模板後進行模板載入,載入階段會將產物轉換為檢視樹的結構,轉換完成後將透過表示式引擎解析表示式並取得正確的值,透過事件解析引擎解析使用者自定義事件並完成事件的繫結,完成解析賦值以及事件繫結後進行檢視的渲染,最終將目

4.1  依賴jacoco.ant


    
在工程內的pom中引入jar依賴










<dependency>    <groupId>org.jacoco</groupId>    <artifactId>org.jacoco.ant</artifactId>    <version>0.8.3</version></dependency><dependency>     <groupId>org.apache.ant</groupId>     <artifactId>ant</artifactId>     <version>1.9.9</version> </dependency>

4.2  賦能Rest請求


    

新增一個url地址,透過ant執行dump task用於Dump Coverage檔案,避免使用配置檔案且同時需要運維同事幫忙操作的問題。





















@RestController@RequestMapping("/coverage")public class CoverageController {
   @PostMapping("dump")    @NoCheckMenuPermission    public Result<Boolean> dumpCoverageFile() {        DumpTask dumpTask = new DumpTask();        // dump檔案地址        dumpTask.setDestfile(new File("/export/Data/coverage/code-cover.exec"));        // 多次dump追加形式        dumpTask.setAppend(true);        // 選一個空閒介面即可        dumpTask.setPort(8840);        // 預設本機        dumpTask.setAddress("127.0.0.1");        dumpTask.execute();        return Result.succeed(true);    }}

4.3  嵌入jacocoagent


    
由於jacoco需要在服務端由jacocoagent增強的jar包,為了避免需要麻煩運維同事,透過maven依賴可以發現org.jacoco.agent這個jar包中包含由jacocoagent這個包,所以透過在部署的啟動指令碼新增以下命令即可透過解壓的方式獲得該jar包!

java啟動引數新增如下:存在多個javaagent時比如pfinder之類在其後新增即可。



#decompress file 解壓依賴,獲得jacocoagent.jar包,避免需要聯絡運維上傳包jar -xvf $BASEDIR/lib/org.jacoco.agent-0.8.3.jar

-javaagent:$BASEDIR/bin/jacocoagent.jar=includes=com.jdwl.*,output=tcpserver,port=8840,address=127.0.0.1 -Xverify:none

JaCoCo助您毀滅線上殭屍程式碼圖1.

premain方法中可以透過Instrumention的addTransformer新增ClassFileTransformer介面的實現類,該介面中僅有一個方法如下,透過實現ClassTransformer我們可以定義自己的程式碼增強方法。可以使用ASM,亦可以使用javasist等高階類庫。

相關實踐:Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli(https://newrelic.com/blog/best-practices/java-performance-monitoring)

4.4  JDOS資源預留


    

資源預留/export目錄自定義處理()

JaCoCo助您毀滅線上殭屍程式碼圖2.

  • 增加配置指令碼 /home/admin/clean_export.sh指令碼預設內容上增加了 && $9 != "coverage"

輸出的檔案路徑為/export/Data/coverage/code-cover.exec





#! /bin/bash
ls -lh /export | awk 'NR >1 {print}' | awk '{if ($9 != "Data") print $9}' | xargs -i /bin/rm -rf /export/{} > /dev/null 2>&1ls -lh /export/Data | awk 'NR >1 {print}' | awk '{if ($9 != "jdos.jd.com" && $9 != "coverage") print $9}' | xargs -i /bin/rm -rf /export/Data/{} > /dev/null 2>&1

JaCoCo助您毀滅線上殭屍程式碼圖3.

4.5  下載cover檔案


    
/export/Data/coverage/code-cover.exec

JaCoCo助您毀滅線上殭屍程式碼圖4.

登入堡壘機終端

 cd /export/Data/coverage
jdos下載檔案(%E7%BB%88%E7%AB%AF%E4%BE%BF%E6%8D%B7%E4%B8%8B%E8%BD%BD-%E4%B8%8A%E4%BC%A0%E6%96%87%E4%BB%B6)

 curl -s up.bastion.jd.com/file/up | bash

4.6  分析程式碼


    
開啟idea -> run -> show coverage data選擇對應的exec檔案即可獲取服務端的程式碼覆蓋情況。

綠色覆蓋(活躍程式碼)

JaCoCo助您毀滅線上殭屍程式碼圖5.

紅色未覆蓋(殭屍程式碼)

JaCoCo助您毀滅線上殭屍程式碼圖6.

Reference

1.JaCoCo - Documentatio()

2.javaagent使用指南 - rickiyang - 部落格園 (cnblogs.com)(https://www.cnblogs.com/rickiyang/p/11368932.html)

3.使用Jacoco統計服務端程式碼覆蓋情況實踐 - M104 - 部落格園 (cnblogs.com)(https://www.cnblogs.com/ccoder/p/15369719.html#4946710)

4.Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli(https://newrelic.com/blog/best-practices/java-performance-monitoring)



05 
  效能提升  


理解,首先 MCube 會依據模板快取狀態判斷是否需要網路獲取最新模板,當獲取到模板後進行模板載入,載入階段會將產物轉換為檢視樹的結構,轉換完成後將透過表示式引擎解析表示式並取得正確的值,透過事件解析引擎解析使用者自定義事件並完成事件的繫結,完成解析賦值以及事件繫結後進行檢視的渲染,最終將目

5.1  需求交付效率提升


    

5.1.1縮短需求交付週期

因為殭屍程式碼刪除,減少開發需求的範圍,降低老程式碼認知成本,降低測試迴歸成本
需求交付週期整體呈縮短趨勢2023/1月落地實踐,之前需求交付週期約15天,之後約12天。

JaCoCo助您毀滅線上殭屍程式碼圖7.

5.1.2降低開發階段停留時長

殭屍程式碼大量存在,研發認知需求改動點負荷很高,需要耗費大量時間成本。

2023/1月落地後,開發階段時長縮短到 4天 以下(由 4.54 縮短至 3.11,縮短約31%),呈明顯縮短趨勢

JaCoCo助您毀滅線上殭屍程式碼

圖8.

5.2  人效提升


    

5.2.1降低研發認知負荷

刪除無用殭屍程式碼,圈複雜度會大幅度降低,重複程式碼塊也會降低,則研發認知負荷也會隨之降低!

平均系統重複程式碼塊數從 31 下降至 27 左右,降低了系統維護成本!

JaCoCo助您毀滅線上殭屍程式碼圖9.

5.2.2提升人均需求吞吐量

因為減少人力認知成本,縮小需求範圍,所以會直接提升需求的吞吐量!

自從2023/1月落地實踐後,人均需求的吞吐量也大幅度提升,從之前 1.5 提升到 2.5 左右。

JaCoCo助您毀滅線上殭屍程式碼圖10.

5.3  過程質量提升


    

5.3.1減少自動化bug數

由於存量殭屍程式碼減少,則整體回滾用例和場景變得精簡,黃金流程也不會被殭屍程式碼干擾,則自動化bug數也有明顯下降趨勢

隨著2023年1月以來的不斷實踐,自動化發現的bug數也逐月遞減,從11個/月 -> 9個/月 -> 6個/月 -> 5個/月。

JaCoCo助您毀滅線上殭屍程式碼圖11.

5.3.2提升單測覆蓋率

自從2023年1月落地實踐後,隨著刪除掉大量殭屍程式碼,整體程式碼總量在減少,無效程式碼被無情下線,同時提升了單測程式碼覆蓋率,呈上升趨勢單測行覆蓋率從 51.33% -> 52.28%,提升系統質量!

JaCoCo助您毀滅線上殭屍程式碼
JaCoCo助您毀滅線上殭屍程式碼
圖12、13.


06 
  簡要總結  


理解,首先 MCube 會依據模板快取狀態判斷是否需要網路獲取最新模板,當獲取到模板後進行模板載入,載入階段會將產物轉換為檢視樹的結構,轉換完成後將透過表示式引擎解析表示式並取得正確的值,透過事件解析引擎解析使用者自定義事件並完成事件的繫結,完成解析賦值以及事件繫結後進行檢視的渲染,最終將目

隨著需求不斷迭代交付,業務程式碼必然不斷累積,運維成本不斷升高,如果線上無用功能的程式碼一直殘留,對研發來說是巨大的累贅!對於此類程式碼約定俗成為 “殭屍程式碼”。

趕快利用jacoco探針深入分析系統的一行行程式碼,看到線上功能執行最真實的一面,參照程式碼的覆蓋情況,針對性下線和刪除殭屍程式碼,讓系統瘦身,讓研發減負!

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2992540/,如需轉載,請註明出處,否則將追究法律責任。

相關文章