使用interface化解一場因作業系統不同導致的編譯問題

failymao發表於2024-05-23

作業系統編譯

場景描述

起因：

因專案需求，需要編寫一個agent, 需支援Linux和Windows作業系統。 Agent裡面有一個功能需要獲取到伺服器上所有已經被佔用的埠。

實現方式：針對不同的作業系統，實現方式有所不同

linux: 使用伺服器自帶的 netstat 指令，然後使用 os/exec 庫來呼叫 shell指令碼實現
windows: windows系統不同在於，使用 exec.Command指令後，需要呼叫 syscall.SysProcAttr 和syscall.LoadDLL，而這兩個方法是windows系統下的專用庫。

問題： 這裡會出出現一個問題，雖然程式在編譯的時候可以透過GOOS來區分編譯到指定的作業系統的二進位制包, 但是在編譯過程中，編譯器會進行程式碼檢查，也會載入windows的程式碼邏輯。

編譯爭端

初始程式碼如下：

tools.go

// get address
func getAddress(addr string) string {
    var address string
    if strings.Contains(addr, "tcp") {
        address = strings.TrimRight(addr, "tcp")
    } else {
        address = strings.TrimRight(addr, "udp")
    }
    return address
}

// CollectServerUsedPorts, collect all of the ports that have been used
func CollectServerUsedPorts(platform string) string {
    var (
        platformLower = strings.ToLower(platform)
        cmd           *exec.Cmd
        err           error
        cmdOutPut     []byte
    )

    if platformLower == "linux" {
        // 執行 shell 指令, 獲取tcp協議佔用的埠
        getUsedPortsCmd := `netstat -tln | awk '{print $4}' | awk -F: '{print $NF}' | egrep -o '[0-9]+' | sort -n | uniq | paste -s -d ","`
        cmd = exec.Command("bash", "-c", getUsedPortsCmd)

    } else if platformLower == "windows" {
        // 執行 powershell指令獲取已經佔用的埠號
        getUsedPortsCmd := SelectScriptByWindowsVersion()

        cmd = exec.Command("powershell", "-Command", getUsedPortsCmd)
        cmd.SysProcAttr = &syscall.SysProcAttr{HideWindow: true}

    } else {
        cmd = nil
    }

    if cmd != nil {
        if cmdOutPut, err = cmd.Output(); err != nil {
            log.Errorf("err to execute command %s,  %s", cmd.String(), err.Error())
            return ""
        }
        return strings.Trim(string(cmdOutPut), "\n")
    }
    return ""
}

func SelectScriptByWindowsVersion() string {
    var getUsedPortsCmd string
    version, err := getWindowsVersion()
    if err != nil {
        log.Errorf("無法獲取Windows版本資訊: %s", err.Error())
        return ""
    }

    // if system version is lower than windows 8
    if version < 6.2 {
        log.Warnf("Windows 版本低於 Windows 8")
        getUsedPortsCmd = `(netstat -an | Select-String 'LISTENING' | ForEach-Object { $_ -replace '\s+', ' ' } | ForEach-Object { ($_ -split ' ')[2] } | Where-Object {$_ -match '\d'} | ForEach-Object {[int]($_ -split ':')[-1]} | Sort-Object | Get-Unique ) -join ",".Replace("r","")`
    } else {
        getUsedPortsCmd = `((Get-NetTCPConnection | Where-Object {$_.State -eq 'Listen'} | Select-Object -ExpandProperty LocalPort) | Sort-Object {[int]$_} | Get-Unique) -join ",".Replace("r","")`
    }

    return getUsedPortsCmd
}

func getWindowsVersion() (float64, error) {

    mod, err := syscall.LoadDLL("kernel32.dll")
    if err != nil {
        return 0, err
    }
    defer func() {
        _ = mod.Release()
    }()

    proc, err := mod.FindProc("GetVersion")
    if err != nil {
        return 0, err
    }

    version, _, _ := proc.Call()
    majorVersion := byte(version)
    minorVersion := byte(version >> 8)

    return float64(majorVersion) + float64(minorVersion)/10, nil
}

上面程式碼編譯成windows沒問題，但是編譯linux二進位制檔案時，會提示：

# 編譯linux二進位制檔案
go build -ldflags "-linkmode external -extldflags '-static'" -tags musl -o  main main.go

# 錯誤輸出如下
windows.go:31:22: undefined: syscall.LoadDLL
windows.go:56:41: unknown field 'HideWindow' in struct literal of type syscall.SysProcAttr

# 錯誤原因
- 內建庫syscall，在linux編譯時，其syscall.SysProcAttr 結構體並沒有`HideWindow`欄位；
- linux 下也沒有 syscall.LoadDLL方法
- 編譯和程式碼執行邏輯不一樣，雖然程式碼有檢查系統伺服器型別的邏輯，但是編譯時需要載入程式碼中的每一行程式碼邏輯，
- 將其編譯成彙編，然後再交給計算機執行，所以會出現編譯錯誤

矛盾化解

Go語言在編譯時除了有對整個專案編譯的引數控制 , 如引數GOOS=windows表示編譯成widnwos系統下的二進位制檔案。但是這個引數只能控制專案級別的，對於上面這種情況，需要控制檔案級別的編譯，當然 Go也是支援的，在提取出 windows 邏輯的程式碼為獨立檔案，在檔案開頭使用 // + build windows 語法。修改如下：

used_ports/windows.go如下：

  //  +build windows
func SelectScriptByWindowsVersion() string {
    var getUsedPortsCmd string
    version, err := getWindowsVersion()
    if err != nil {
        log.Errorf("無法獲取Windows版本資訊: %s", err.Error())
        return ""
    }

    // if system version is lower than windows 8
    if version < 6.2 {
        log.Warnf("Windows 版本低於 Windows 8")
        getUsedPortsCmd = `(netstat -an | Select-String 'LISTENING' | ForEach-Object { $_ -replace '\s+', ' ' } | ForEach-Object { ($_ -split ' ')[2] } | Where-Object {$_ -match '\d'} | ForEach-Object {[int]($_ -split ':')[-1]} | Sort-Object | Get-Unique ) -join ",".Replace("r","")`
    } else {
        getUsedPortsCmd = `((Get-NetTCPConnection | Where-Object {$_.State -eq 'Listen'} | Select-Object -ExpandProperty LocalPort) | Sort-Object {[int]$_} | Get-Unique) -join ",".Replace("r","")`
    }

    return getUsedPortsCmd
}

func getWindowsVersion() (float64, error) {

    mod, err := syscall.LoadDLL("kernel32.dll")
    if err != nil {
        return 0, err
    }
    defer func() {
        _ = mod.Release()
    }()

    proc, err := mod.FindProc("GetVersion")
    if err != nil {
        return 0, err
    }

    version, _, _ := proc.Call()
    majorVersion := byte(version)
    minorVersion := byte(version >> 8)

    return float64(majorVersion) + float64(minorVersion)/10, nil
}

將原來邏輯改成如下：

windows.go

// CollectServerUsedPorts, collect all of the ports that have been used
func CollectServerUsedPorts(platform string) string {
    var (
        platformLower = strings.ToLower(platform)
        cmd           *exec.Cmd
        err           error
        cmdOutPut     []byte
    )

    if platformLower == "linux" {
        // 執行 shell 指令, 獲取tcp協議佔用的埠
        getUsedPortsCmd := `netstat -tln | awk '{print $4}' | awk -F: '{print $NF}' | egrep -o '[0-9]+' | sort -n | uniq | paste -s -d ","`
        cmd = exec.Command("bash", "-c", getUsedPortsCmd)
    
    } else if platformLower == "windows" {
        // todo: 需要最佳化，透過介面對映避免編譯的問題
        // Linux 編譯時需要隱藏下面程式碼,
        getUsedPortsCmd := used_ports.CollectWindowsUsedPorts()
        cmd = exec.Command("powershell", "-Command", getUsedPortsCmd)
        cmd.SysProcAttr = &syscall.SysProcAttr{HideWindow: true}

    } else {
        cmd = nil
    }

    if cmd != nil {
        if cmdOutPut, err = cmd.Output(); err != nil {
            log.Errorf("err to execute command %s,  %s", cmd.String(), err.Error())
            return ""
        }
        return strings.Trim(string(cmdOutPut), "\n")
    }
    return ""
}

光修改了上面的邏輯也不行，因為編譯的時候程式碼依然會執行，此時會報如下錯誤

tools.go:121:15: undefined: used_ports.CollectWindowsUsedPorts

# 這是因為雖然linux編譯時，不會編譯 windows.go的檔案，同時會導致 模組下的
#CollectWindowsUsedPorts 方法不存在

最終修復方式如下

編譯時考慮使用定義介面的方式, 針對不同作業系統使用不同的結構體，然後透過結構實現介面的方式來使其兩種作業系統方法來指向同一個介面
使用介面字典的方式，實現策略模式，不再使用顯示的 if 判斷語法來做顯示判斷，這樣可以避免編譯時顯示載入因作業系統帶來的編譯衝突
使用init() 方式初始化介面實現

最終程式碼如下

/* 實現介面目錄如下
├── used_ports
│   ├── linux.go
│   ├── used_ports.go
│   └── windows.go
*/

used_ports.go

package used_ports

import "os/exec"

type UsedPortCollector interface {
    CollectHaveUsedPorts() *exec.Cmd
}

var UsedPortCollectorMap = make(map[string]UsedPortCollector, 2)

func Register(platformOS string, collector UsedPortCollector) {
    if _, ok := Find(platformOS); ok {
        return
    }

    UsedPortCollectorMap[platformOS] = collector
}

func Find(platformOS string) (UsedPortCollector, bool) {

    c, ok := UsedPortCollectorMap[platformOS]
    return c, ok
}

linux.go

package used_ports
  
import (
    "os/exec"
)
  
func init() {
    Register("linux", newLinuxUsedPorts())
}
  
type linuxPortCollectorImpl struct{}
  
func (w linuxPortCollectorImpl) CollectHaveUsedPorts() *exec.Cmd {
    // 執行 shell 指令, 獲取tcp協議佔用的埠
    getUsedPortsCmd := `netstat -tln | awk '{print $4}' | awk -F: '{print $NF}' | egrep -o '[0-9]+' | sort -n | uniq | paste -s -d ","`
    cmd := exec.Command("bash", "-c", getUsedPortsCmd)
    return cmd
}
  
   // newLinuxUsedPorts 返回Windows系統下的埠收集器例項
func newLinuxUsedPorts() UsedPortCollector {
    return linuxPortCollectorImpl{}
}

windows.go

//  +build windows

package used_ports

import (
    "os/exec"
    "syscall"
)

func init() {
    Register("windows", newWindowsCollector())
}

// 結構體
type windowsPortCollectorImpl struct{}

// 實現介面方法
func (w windowsPortCollectorImpl) CollectHaveUsedPorts() *exec.Cmd {
    // 執行 powershell指令獲取已經佔用的埠號
    getUsedPortsCmd := selectScriptByWindowsVersion()

    cmd := exec.Command("powershell", "-Command", getUsedPortsCmd)
    cmd.SysProcAttr = &syscall.SysProcAttr{HideWindow: true}

    return cmd
}

// newWindowsCollector 返回Windows系統下的埠收集器例項，算是工廠方法
func newWindowsCollector() UsedPortCollector {
    return windowsPortCollectorImpl{}
}

func selectScriptByWindowsVersion() string {
    var getUsedPortsCmd string
    version, err := getWindowsVersion()
    if err != nil {
        return ""
    }

    // if system version is lower than windows 8
    if version < 6.2 {
        getUsedPortsCmd = `(netstat -an | Select-String 'LISTENING' | ForEach-Object { $_ -replace '\s+', ' ' } | ForEach-Object { ($_ -split ' ')[2] } | Where-Object {$_ -match '\d'} | ForEach-Object {[int]($_ -split ':')[-1]} | Sort-Object | Get-Unique ) -join ",".Replace("r","")`
    } else {
        getUsedPortsCmd = `((Get-NetTCPConnection | Where-Object {$_.State -eq 'Listen'} | Select-Object -ExpandProperty LocalPort) | Sort-Object {[int]$_} | Get-Unique) -join ",".Replace("r","")`
    }

    return getUsedPortsCmd
}

func getWindowsVersion() (float64, error) {

    mod, err := syscall.LoadDLL("kernel32.dll")
    if err != nil {
        return 0, err
    }
    defer func() {
        _ = mod.Release()
    }()

    proc, err := mod.FindProc("GetVersion")
    if err != nil {
        return 0, err
    }

    version, _, _ := proc.Call()
    majorVersion := byte(version)
    minorVersion := byte(version >> 8)

    return float64(majorVersion) + float64(minorVersion)/10, nil
}

tools.go

...

// CollectServerUsedPorts, collect all of the ports that have been used
func CollectServerUsedPorts(platform string) string {
    var (
        platformLower = strings.ToLower(platform)
        cmd           *exec.Cmd
        err           error
        cmdOutPut     []byte
    )
   
   // 策略方法，獲取作業系統對應的例項(介面)  
    if portCollector, ok := used_ports.Find(platformLower); ok {
        cmd = portCollector.CollectHaveUsedPorts()
    }

    if cmd != nil {
        if cmdOutPut, err = cmd.Output(); err != nil {
            log.Errorf("err to execute command %s,  %s", cmd.String(), err.Error())
            return ""
        }
        return strings.Trim(string(cmdOutPut), "\n")
    }

    return ""
}

總結

程式級別的控制可以在編譯時使用 GOOS=windows 來區分編譯成對應作業系統的二進位制檔案
檔案級別的控制可以在檔案頭上使用 // + build windows進行控制
程式碼級別的控制，可以是使用結構體對映介面的方式進行區分
init()初始化方法的使用
不同結構體只要實現了同一個介面的所有方法，那麼可以使用字典介面來實現程式碼層面的控制

nfs導致的作業系統目錄無法訪問
2018-04-13
NFS作業系統
【爬坑】.Net編譯環境導致的問題
2024-09-06
編譯
Linux 作業系統指令碼格式問題導致指令碼無法執行
2018-08-01
Linux作業系統指令碼
由一條sql語句導致的系統IO問題
2015-12-26
SQL
因AIX系統目錄許可權問題導致TSM備份失敗
2009-10-13
AI
一條簡單的sql語句導致的系統問題
2015-03-02
SQL
【RAC】處理因ons導致CPU使用率過高的問題
2010-10-05
Elasticsearch 使用不同分詞器導致搜尋排名的問題
2020-11-30
Elasticsearch分詞
[PHP]不同作業系統下PHP接收POST資料問題 (轉)
2007-08-15
PHP作業系統
不同作業系統上遮蔽oracle的作業系統認證方式
2016-12-23
作業系統Oracle
DB Link因 driving_site導致的效能問題
2011-09-09
一條執行4秒的sql語句導致的系統問題
2015-12-25
SQL
centos5.6部署gcc4.7編譯的程式導致問題
2013-07-22
CentOSGC編譯
記錄一次因 mysql 欄位取名不規範導致的問題
2021-07-31
MySql
因為一個小小的Integer問題導致阿里一面沒過，遺憾！
2021-10-30
阿里
因為arp 問題導致的vip 故障與解決方案
2014-06-13
作業系統HugePage配置導致記憶體驟降探究
2024-02-20
作業系統記憶體
【問題處理】恢復因誤生成PFILE 導致RAC的SPFILE無效的問題
2010-06-27
Bitcode導致的編譯報錯
2016-06-02
編譯
作業系統(一)：作業系統概述
2020-09-06
作業系統
一次因為修改環境變數導致RESIN不能啟動的問題
2007-09-30
變數
golang slice使用不慎導致的問題
2018-05-24
Golang
作業系統導論（1）
2020-09-25
作業系統
企業使用ERP系統導致失敗的因素所在
2021-09-14
停電導致aix檔案系統掛載問題
2015-04-13
AI
Linux作業系統核心編譯詳解(2)(轉)
2007-08-10
Linux作業系統編譯
從專案管理角度看因防疫導致的孕婦流產問題
2022-01-05
專案管理
因為跨域問題導致的無法讀取 response header
2018-12-11
跨域Header
作業系統主機名改導致監聽不可用
2013-04-07
作業系統
長文編譯：RTS遊戲系統設計的平衡問題
2021-10-27
編譯遊戲
【作業系統】作業系統綜述（一）
2016-04-11
作業系統
第一章-----作業系統導論
2016-08-31
作業系統
使用錯誤的作業系統使用者exp資料導致ORA-15186錯誤
2017-01-04
作業系統
backup database plus archivelog 不同寫法導致備份集位置不同問題
2011-08-19
DatabaseHive
private內聯網路卡效能不良導致的系統的問題
2007-12-29
作業系統的程式/執行緒同步問題
2018-01-06
作業系統執行緒
VC下 Runtime 版本不同原因引起的一個編譯問題案例
2013-03-01
編譯
oracle 儲存過程不能編譯-- （編譯的同時正在訪問所導致的） [轉載]
2013-02-28
Oracle儲存過程編譯

使用interface化解一場因作業系統不同導致的編譯問題

場景描述

編譯爭端

矛盾化解

總結

相關文章