Framework專案持續整合(jenkins)及集合SonarQube

目錄

• Framework專案持續整合及集合SonarQube - 前言
  • CI/CD是什麼 -- jenkins
  • 什麼是sonarqube？什麼是CodeReview？
    • 什麼是sonarqube？
    • 什麼是CodeReview？為什麼要這樣做？
• 工具安裝
  • jenkins安裝
    • 更換外掛源
    • jenkins初始化及外掛安裝
    • msbuild 和 nuget下載
    • 外掛安裝
    • 外掛配置
  • sonarqube安裝
    • 資料庫建立及處理
    • 需要使用到的外掛準備
    • 配置檔案更改
• jenkins 整合 sonarqube
• docker中安裝相關服務 yml
• 相關工具包

---

Framework專案持續整合及集合SonarQube - 前言

個人部落格原文地址：http://book.levy.net.cn/doc/devops/jenkins_sonar.html

本文主要記錄在windows平臺部署 jenkins 服務和 sonar 服務，然後實現持續整合和程式碼質量管理的一套服務。

jenkins是一款開源的提供友好操作介面的持續整合交付工具，主要用於持續構建、測試、釋出軟體專案。且能通過郵件、釘釘等通知最終構建結果，支援常用版本控制工具GIT/SVN。

sonarqube是一款開源的提供友好操作介面的程式碼質量管理工具。通過外掛機制，Sonar 可以整合不同的測試工具，程式碼分析工具，以及持續整合工具。

而兩者結合起來使用，大概步驟就是 程式碼提交 - sonar質量監控 - jenkins整合部署 - 測試 - 生產使用

CI/CD是什麼 -- jenkins

CI的英文名稱是Continuous Integration，中文翻譯為：持續整合。

CD可對應多個英文名稱，持續交付Continuous Delivery和持續部署Continuous Deployment

主要是將程式碼分成幾個環境來管理，如 開發環境 - 測試環境 - 生產環境 ，一般來說，在開發人員程式碼提交後，（儘快的進行程式碼質量檢測 - sonar）,馬上使用jenkins進行構建、單元測試。根據測試結果判斷是否釋出測試環境，跑自動化測試流程或者人工測試相關功能，進行迴歸測試，檢查正確性和穩定性等。然後再整合到生產環境 的工作模式。

什麼是sonarqube？什麼是CodeReview？

什麼是sonarqube？

Sonar (SonarQube)是一個開源平臺，用於管理原始碼的質量。 Sonar 不只是一個質量資料包告工具，更是程式碼質量管理平臺。支援多種語言的程式碼質量管理與檢測

SonarQube®是一種自動程式碼審查工具，用於檢測程式碼中的錯誤，漏洞和程式碼異味。可以與jenkins整合，或手動執行，以便在專案分支和拉取請求之間進行連續的程式碼檢查

檢測結果儲存於資料庫，支援多種資料庫（新版不再支援mysql）,然後通過UI展示出來結果

什麼是CodeReview？為什麼要這樣做？

CodeReview簡單來說就是由有經驗、對業務熟悉的老前輩進行檢查程式碼，檢視程式碼漏洞的的一種流程。從而提高專案健壯性，減少錯誤及使程式碼簡潔易懂。

通常情況下，由於專案開發進度太趕，沒時間進行程式碼審查，從而導致出現一些低階錯誤，這樣會導致使用者體驗很差，進而可能流失客戶。而為了提高開發速度及效率，還要保證程式碼質量，就可以使用sonar來自動檢測，然後檢測完成後在網頁上檢視檢測結果，再進行修復。雖不能從業務上來保證正確性，但能通過這種途徑減少程式碼上的直接錯誤。

工具安裝

要使用這一套環境，得先安裝好JDK，本文記錄使用的都是最新版的工具，因此請安裝 JDK 11來保證服務可用。且配置好環境變數。

jenkins安裝

可從官網 https://www.jenkins.io/download/ 上下載相應的安裝包，或war包，對應去操作使用，可能下載會比較慢，文末有提供安裝包版本 2.253。

雙擊執行安裝包，安裝時會讓你進行選擇使用埠號，安裝完成後，不要著急去訪問服務，先將外掛源給替換掉，以保證光速下載推薦外掛。

更換外掛源

配置地址：C:\Windows\System32\config\systemprofile\AppData\Local\Jenkins.jenkins 我的是這個，提供參考

或者修改 hudson.model.UpdateCenter 中的地址

https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

然後修改updates 資料夾中的 default.json 檔案

• 替換檔案中所有 http://updates.jenkins-ci.org/download 為 https://mirrors.tuna.tsinghua.edu.cn/jenkins
• 替換檔案中所有 https://updates.jenkins.io/download 為 https://mirrors.tuna.tsinghua.edu.cn/jenkins
• 替換檔案中所有 http://www.google.com 修改為 http://www.baidu.com

修改後到服務中重啟jenkins服務。 或者docker restart jenkins 重新啟動服務 修改完，有時候會被重置回去，發現下載外掛很慢的時候，就檢查下，重新替換吧

jenkins初始化及外掛安裝

這裡就不配圖了，畢竟都是簡單的操作步驟。

1. 開啟 localhost:埠 地址，複製本地地址到位址列獲取密碼並填寫

2. 點選第一個安裝推薦外掛後，開始安裝推薦的外掛。這時候你會感受到光速下載外掛。

3. 安裝完成後，點選繼續，建立一個新的管理員賬戶

4. 點選完成，相當於jenkins服務就安裝完成了。

msbuild 和 nuget下載

文末有提供相關工具

msbuild工具，下載地址：https://visualstudio.microsoft.com/thank-you-downloading-visual-studio/?sku=BuildTools&rel=16

nuget下載地址：https://www.nuget.org/downloads

外掛安裝

點選左邊Manage Jenkins按鈕,在plugin中安裝如下外掛，除推薦外掛外，

• Publish Over SSH

• DingTalk

• SonarQube Scanner

• push over ssh

• MSBuild

外掛配置

點選左邊Manage Jenkins按鈕，點選 Configure System

整合sonarqube，配置這裡的token,新增時選secret text，需要在下面安裝的sonar服務中獲取，相關截圖如下

釘釘通知的配置

push over ssh的配置,由於windows不支援ssh,可自行安裝相關軟體來支援，這裡使用的是PowerShellServer2020。在文末中有提供

Extended E-mail Notification 郵件通知配置，自行網上查詢jenkins 郵件通知 會有很多的。

點選左邊Manage Jenkins按鈕，點選 Global Tool Configuration

配置好jdk和git，伺服器得準備git環境

再把framework生成 和 掃描外掛配置好

sonarqube安裝

伺服器要求只要要2核4G，不然可能會安裝不成功。

在SonarQube的下載頁面：https://www.sonarqube.org/downloads/，下載需要的版本。下載完成後，解壓後可直接使用，文末有提供安裝包和相關需要使用到的工具。

需要使用到的目錄或檔案就是

• bin目錄下 對應平臺 的StartSonar.bat

• conf,配置檔案

• extensions\jdbc-driver\oracle 用於放置連線資料庫工具

• logs 日誌檔案目錄，錯誤時檢視錯誤的地方

• web UI資料夾目錄

資料庫建立及處理

先在SqlServer資料中新建對應資料庫 Sonar，然後做相應修改

-- 檢視排序策略
SELECT name, collation_name  
FROM sys.databases  
WHERE name = N'Sonar';
-- 更改排序策略
ALTER DATABASE Sonar  
COLLATE Chinese_PRC_CS_AS ; 

--***鎖 無法更改  查詢連線使用者 
select spid
from master.dbo.sysprocesses
where dbid=db_id('Sonar')
-- 殺死連線程式
kill 53

-- 排序規則必須區分大小寫（CS）和區分重音（AS）。
-- READ_COMMITED_SNAPSHOT 必須在SonarQube資料庫上設定。
SELECT is_read_committed_snapshot_on FROM sys.databases WHERE name='Sonar';

ALTER DATABASE Sonar SET READ_COMMITTED_SNAPSHOT ON WITH ROLLBACK IMMEDIATE;

-- 開啟了區分大小寫後 注意資料庫名稱等的大小寫

上面兩個資料庫調整是必須的。

官方文件地址：https://docs.sonarqube.org/latest/setup/install-server/

再建立相關的使用者，並設定密碼。

需要使用到的外掛準備

當然這裡也需要jdk 11,需要先行安裝。

msbuild掃描外掛下載地址：https://docs.sonarqube.org/latest/analysis/scan/sonarscanner-for-msbuild/

Microsoft SQL JDBC驅動程式下載地址：https://www.microsoft.com/en-us/download/details.aspx?id=57782 下載完成後，將下載的exe放到extensions\jdbc-driver\oracle下。

配置檔案更改

conf下的sonar.properties檔案，由於這裡使用的sqlserver,因此這裡是對SqlServer做的調整，

# 資料庫
sonar.jdbc.username=sonar
sonar.jdbc.password=123456
sonar.jdbc.url=jdbc:sqlserver://IP:埠;databaseName=Sonar

# web埠
sonar.web.port=9000

若系統中有多個jdk版本，則修改wrapper.conf

wrapper.java.command=C:\Program Files\Java\jdk-11.0.8\bin\java

然後執行 C:\DevOps\sonarqube-8.4.1.35646\bin\windows-x86-64\StartSonar.bat ，會自動生成資料庫表檔案，執行成功後，訪問http://localhost:9000

可在 administration -- Market 然後搜尋Chinese 安裝，安裝完成後需要重啟服務，介面上也會出現重啟按鈕。

需要將這兩個配置開啟

jenkins 整合 sonarqube

在前面的服務啟動後，相關配置配置好，新建專案流程

在jenkins服務中，點選 new item,輸入一個專案名字，然後選擇Freestyle project

相關操作步驟截圖

專案描述及構建日誌處理

配置git服務，及設定每30分鐘輪詢，當輪詢到有新程式碼提交時就進行構建。

設定構建環境，構建前刪除，和構建日誌輸出時間，及構建時，先進行還原專案

設定構建掃描，和專案構建環境

構建完成後，通過SSH推送到伺服器，推送完成後，會執行 Exec command中的命令，一般都是通過某個命令將上傳的檔案移動覆蓋釋出的檔案。

命令大致就是xcopy /s C:\jenkins\"PowerShell Server 2020"\sftproot\demo_new\* C:\product\Web /Y。前面的是PowerShellServer2020的sftproot安裝/上傳路徑,後面的是釋出檔案路徑

可在高階設定中，設定忽略檔案。格式如 **/Web*.config,**/Release/assets/,images/

專案截圖。

這是掃描一個大專案的結果，有一些問題，專案越大，掃描時間也會越長哦

特別說明。如果出現構建失敗，提示msbuild找不到專案檔案的話，可以嘗試把jenkins的配置檔案config.xml中的工作路徑給修改下，把目錄放到外層試試。

我這裡改成了這個，就正常工作了。<workspaceDir>C:/DevOps/workspace/${ITEM_FULL_NAME}</workspaceDir>

docker中安裝相關服務 yml

由於本專案是framework，在linux中沒法生成。所以這個就沒做後文了，

拉取相關映象後，在yml所在檔案目錄，執行命令啟動服務

伺服器安裝Docker-Compose太慢，可以通過本地安裝好後，上傳伺服器。

Docker-Compose簡介安裝使用

version: '3'
services: 
  postgres:    
    image: postgres  
    restart: always
    container_name: postgres
    ports:
      - 5432:5432
    volumes:
      - /data/postgres/postgresql/:/var/lib/postgresql
      - /data/postgres/data/:/var/lib/postgresql/data
    environment:
      TZ: Asia/Shanghai    
      POSTGRES_USER: sonar   
      POSTGRES_PASSWORD: sonar
      POSTGRES_DB: sonar
    networks: 
      - sonar-network
  sonar:
    image: sonarqube
    restart: always 
    container_name: sonarqube
    depends_on:
      - postgres
    volumes:
      - /data/sonarqube/extensions:/opt/sonarqube/extensions
      - /data/sonarqube/logs:/opt/sonarqube/logs
      - /data/sonarqube/data:/opt/sonarqube/data
      - /data/sonarqube/conf:/opt/sonarqube/conf
    ports:
      - 9000:9000
    environment:
      SONARQUBE.JDBC.USERNAME: sonar
      SONARQUBE.JDBC.PASSWORD: sonar
      SONARQUBE.JDBC.URL: jdbc:postgresql://postgres:5432/sonar
    networks: 
      - sonar-network
networks:
  sonar-network:
    driver: bridge

配置解釋：

version: '3'： 表示使用第三代語法來構建 docker-compose.yaml 檔案。

services: 用來表示 compose 需要啟動的服務，上面的配置檔案中服務分別為：sonar、mysql

Image：指定下載映象版本

container_name: 指定容器名稱

environment: 此節點下的資訊會當作環境變數傳入容器，例如mysql 服務配置了資料庫、密碼和許可權資訊。

ports: 表示對外開放的埠

volumes: 載入本地目錄下的配置檔案到容器目標地址下

restart: always 表示如果服務啟動不成功會一直嘗試。

depends_on：配置依賴服務，表示需要先啟動 depends_on 下面的服務後，再啟動本服務。

links：與depends_on相對應，depends_on控制啟動順序，links控制容器連線問題。值為"服務名:別名"或者直接使用服務名

command: 執行內部命令

networks：加入指定網路，用同一個網路。

相關工具包

連結: https://pan.baidu.com/s/13fJS4rDQTmi1fsy1HVrdxQ 提取碼: cd41

個人部落格原文地址：http://book.levy.net.cn/doc/devops/jenkins_sonar.html