xmake v2.2.2, 讓C/C++擁有包依賴自動構建

ruki發表於2018-10-16

前言

歷經四個多月,xmake終於更新了新版本v2.2.2,並且上線了重量級功能:原生支援的遠端依賴包管理。

而這個特性,其實我陸陸續續寫了將近一年的時間,才初步完成,對於此特性的開發進展和歷史,有興趣的同學可以看下相關issues:#69

目前的實現效果如下,完全一致的語義版本依賴描述:

xmake v2.2.2, 讓C/C++擁有包依賴自動構建

完全一致的跨平臺構建行為,一鍵xmake編譯:

xmake v2.2.2, 讓C/C++擁有包依賴自動構建

完整的專案描述:

add_requires("tbox 1.6.*""libpng ~1.16""zlib")

target("test")
    set_kind("binary")
    add_files("src/*.c"
    add_packages("tbox""libpng""zlib")
複製程式碼

我先簡單介紹下我做這個功能的背景:

我們在寫C/C++程式的時候,對於第三方依賴庫的使用一直是一個老大難問題,因為每個依賴庫的構建系統不同、程式碼平臺支援力度的差異,導致沒法像其他高階語言那樣有方便好用的包管理支援。

雖然現在已經有了homebrew, vcpkg等包管理工具來解決這一問題,但是多少都有一些侷限性,例如:

  1. homebrew不支援iphoneos, android, windows平臺
  2. vcpkg不支援語義版本選擇,多版本管理
  3. 另外都不支援專案管理和構建

對於目前現有的跨平臺構建工具,都缺少內建的包管理支援,像cmake僅提供了find_package去查詢系統包,雖然可以和vcpkg等第三方包管理配合使用,但我個人覺得並不是很方便。
這會使得專案的其他使用者在編譯的時候,額外要求去安裝vcpkg或者安裝依賴庫到系統上才行,對於pc平臺還好弄些,對於iphoneos, android等平臺的依賴庫,使用者就要折騰上一會了。

而xmake的理念就是:真正的一致維護, 真正的一鍵編譯

  • 構建行為的一致性: 不管你的專案是否有庫依賴,工具依賴,只需要執行一個xmake命令,即可編譯通過。
  • 專案維護的一致性: 不管你的專案是在windows上用,還是給linux, iphone, android上用,都只需要一份xmake.lua維護專案即可。

而cmake還需要生成額外的第三方IDE工程檔案,即使cmakelist.txt相同,但是構建、維護體驗上對使用者來講都不可能保證完全一致,畢竟還受限於vc/make此類工具。

目前支援的特性

  • 語義版本支援,例如:">= 1.1.0 < 1.2", "~1.6", "1.2.x", "1.*"
  • 提供官方包倉庫、自建私有倉庫、專案內建倉庫等多倉庫管理支援
  • 跨平臺包編譯整合支援(不同平臺、不同架構的包可同時安裝,快速切換使用)
  • debug依賴包支援,實現原始碼除錯

依賴包處理機制

這裡我們簡單介紹下整個依賴包的處理機制:

xmake v2.2.2, 讓C/C++擁有包依賴自動構建
  1. 優先檢測當前系統目錄、第三方包管理下有沒有存在指定的包,如果有匹配的包,那麼就不需要下載安裝了 (當然也可以設定不使用系統包)
  2. 檢索匹配對應版本的包,然後下載、編譯、安裝(注:安裝在特定xmake目錄,不會干擾系統庫環境)
  3. 編譯專案,最後自動連結啟用的依賴包

快速上手

新建一個依賴tbox庫的空工程:

$ xmake create -t console_tbox test
$ cd test
複製程式碼

執行編譯即可,如果當前沒有安裝tbox庫,則會自動下載安裝後使用:

$ xmake
複製程式碼

切換到iphoneos平臺進行編譯,將會重新安裝iphoneos版本的tbox庫進行連結使用:

$ xmake f -p iphoneos
$ xmake
複製程式碼

切換到android平臺arm64-v8a架構編譯:

$ xmake f -p android [--ndk=~/android-ndk-r16b]
$ xmake
複製程式碼

語義版本設定

xmake的依賴包管理是完全支援語義版本選擇的,例如:"~1.6.1",對於語義版本的具體描述見:semver.org/

一些語義版本寫法:

add_requires("tbox 1.6.*""pcre 1.3.x""libpng ^1.18")
add_requires("libpng ~1.16""zlib 1.1.2 || >=1.2.11 <1.3.0")
複製程式碼

目前xmake使用的語義版本解析器是uael貢獻的sv庫,裡面也有對版本描述寫法的詳細說明,可以參考下:版本描述說明

當然,如果我們對當前的依賴包的版本沒有特殊要求,那麼可以直接這麼寫:

add_requires("tbox""libpng""zlib")
複製程式碼

這會使用已知的最新版本包,或者是master分支的原始碼編譯的包,如果當前包有git repo地址,我們也能指定特定分支版本:

add_requires("tbox master")
add_requires("tbox dev")
複製程式碼

額外的包資訊設定

可選包設定

如果指定的依賴包當前平臺不支援,或者編譯安裝失敗了,那麼xmake會編譯報錯,這對於有些必須要依賴某些包才能工作的專案,這是合理的。
但是如果有些包是可選的依賴,即使沒有也可以正常編譯使用的話,可以設定為可選包:

add_requires("tbox", {optional = true})
複製程式碼

禁用系統庫

預設的設定,xmake會去優先檢測系統庫是否存在(如果沒設定版本要求),如果使用者完全不想使用系統庫以及第三方包管理提供的庫,那麼可以設定:

add_requires("tbox", {system = false})
複製程式碼

使用除錯版本的包

如果我們想同時原始碼除錯依賴包,那麼可以設定為使用debug版本的包(當然前提是這個包支援debug編譯):

add_requires("tbox", {debug = true})
複製程式碼

如果當前包還不支援debug編譯,可在倉庫中提交修改編譯規則,對debug進行支援,例如:

package("openssl")
    on_install("linux""macosx"function (package)
        os.vrun("./config %s --prefix=\"%s\""package:debug() and "--debug" or ""package:installdir())
        os.vrun("make -j4")
        os.vrun("make install")
    end)
複製程式碼

傳遞額外的編譯資訊到包

某些包在編譯時候有各種編譯選項,我們也可以傳遞進來,當然包本身得支援:

add_requires("tbox", {config = {small=true}})
複製程式碼

傳遞--small=true給tbox包,使得編譯安裝的tbox包是啟用此選項的。

使用自建私有包倉庫

如果需要的包不在官方倉庫xmake-repo中,我們可以提交貢獻程式碼到倉庫進行支援。
但如果有些包僅用於個人或者私有專案,我們可以建立一個私有倉庫repo,倉庫組織結構可參考:xmake-repo

比如,現在我們有一個一個私有倉庫repo:git@github.com:myrepo/xmake-repo.git

我們可以通過下面的命令進行倉庫新增:

$ xmake repo --add myrepo git@github.com:myrepo/xmake-repo.git
複製程式碼

或者我們直接寫在xmake.lua中:

add_repositories("my-repo git@github.com:myrepo/xmake-repo.git")
複製程式碼

如果我們只是想新增一兩個私有包,這個時候特定去建立一個git repo太小題大做了,我們可以直接把包倉庫放置專案裡面,例如:

projectdir
  - myrepo
    - packages
      - t/tbox/xmake.lua
      - z/zlib/xmake.lua
  - src
    - main.c
  - xmake.lua
複製程式碼

上面myrepo目錄就是自己的私有包倉庫,內建在自己的專案裡面,然後在xmake.lua裡面新增一下這個倉庫位置:

add_repositories("my-repo myrepo")
複製程式碼

這個可以參考benchbox專案,裡面就內建了一個私有倉庫。

我們甚至可以連倉庫也不用建,直接定義包描述到專案xmake.lua中,這對依賴一兩個包的情況還是很有用的,例如:

package("libjpeg")

    set_urls("http://www.ijg.org/files/jpegsrc.$(version).tar.gz")

    add_versions("v9c""650250979303a649e21f87b5ccd02672af1ea6954b911342ea491f351ceb7122")

    on_install("windows"function (package)
        os.mv("jconfig.vc""jconfig.h")
        os.vrun("nmake -f makefile.vc")
        os.cp("*.h"package:installdir("include"))
        os.cp("libjpeg.lib"package:installdir("lib"))
    end)

    on_install("macosx""linux"function (package)
        import("package.tools.autoconf").install(package)
    end)

package_end()

add_requires("libjpeg")

target("test")
    set_kind("binary")
    add_files("src/*.c"
    add_packages("libjpeg")
複製程式碼

包管理命令使用

包管理命令$ xmake require 可用於手動顯示的下載編譯安裝、解除安裝、檢索、檢視包資訊。

安裝指定包

$ xmake require tbox
複製程式碼

安裝指定版本包:

$ xmake require tbox "~1.6"
複製程式碼

強制重新下載安裝,並且顯示詳細安裝資訊:

$ xmake require -f -v tbox "1.5.x"
複製程式碼

傳遞額外的設定資訊:

$ xmake require --extra="debug=true,config={small=true}" tbox
複製程式碼

安裝debug包,並且傳遞small=true的編譯配置資訊到包中去。

解除安裝指定包

$ xmake require --uninstall tbox
複製程式碼

這會完全解除安裝刪除包檔案。

移除指定包

僅僅unlink指定包,不被當前專案檢測到,但是包在本地還是存在的,如果重新安裝的話,會很快完成。

$ xmake require --unlink tbox
複製程式碼

檢視包詳細資訊

$ xmake require --info tbox
複製程式碼

在當前倉庫中搜尋包

$ xmake require --search tbox
複製程式碼

這個是支援模糊搜素以及lua模式匹配搜尋的:

$ xmake require --search pcr
複製程式碼

會同時搜尋到pcre, pcre2等包。

列舉當前已安裝的包

$ xmake require --list
複製程式碼

倉庫管理命令使用

上文已經簡單講過,新增私有倉庫可以用(支援本地路徑新增):

$ xmake repo --add myrepo git@github.com:myrepo/xmake-repo.git
複製程式碼

我們也可以移除已安裝的某個倉庫:

$ xmake repo --remove myrepo
複製程式碼

或者檢視所有已新增的倉庫:

$ xmake repo --list
複製程式碼

如果遠端倉庫有更新,可以手動執行倉庫更新,來獲取更多、最新的包:

$ xmake repo -u
複製程式碼

提交包到官方倉庫

目前這個特性剛完成不久,目前官方倉庫的包還不是很多,有些包也許還不支援部分平臺,不過這並不是太大問題,後期迭代幾個版本後,我會不斷擴充完善包倉庫。

如果你需要的包,當前的官方倉庫還沒有收錄,可以提交issues或者自己可以在本地調通後,貢獻提交到官方倉庫:xmake-repo

詳細的貢獻說明,見:CONTRIBUTING.md

關於遠端依賴包的更多說明,可以看下官方文件:遠端依賴模式

其實xmake的包管理歷經了三代,前兩版v1.0, v2.0分別是本地包管理模式,系統庫查詢模式,這兩種在有些情況下還是非常有用的。
關於這兩者的介紹,這裡就不多說了,可以看下文件說明:依賴包管理

結語

說了這麼多,我們最後來看下,新版本提供的一些其他新特性和更新內容:

其他新特性

  • 新增fasm彙編器支援
  • 新增has_config, get_configis_config介面去快速判斷option和配置值
  • 新增set_config介面去設定預設配置
  • 新增$xmake --try去嘗試構建工程
  • 新增set_enabled(false)去顯示的禁用target
  • #69: 新增遠端依賴包管理, add_requires("tbox ~1.6.1")
  • #216: 新增windows mfc編譯規則

改進

  • 改進Qt編譯編譯環境探測,增加對mingw sdk的支援
  • 在自動掃描生成的xmake.lua中增加預設debug/release規則
  • #178: 修改mingw平臺下的目標名
  • 對於add_files()在windows上支援大小寫不敏感路徑模式匹配
  • 改進detect.sdks.find_qt對於Qt根目錄的探測
  • #184: 改進lib.detect.find_package支援vcpkg
  • #208: 改進rpath對動態庫的支援

Bugs修復

  • #177: 修復被依賴的動態庫target,如果設定了basename後連結失敗問題
  • 修復$xmake f --menu中Exit問題以及cpu過高問題
  • #197: 修復生成的vs201x工程檔案帶有中文路徑亂碼問題
  • 修復WDK規則編譯生成的驅動在Win7下執行藍屏問題
  • #205: 修復vcproj工程生成targetdir, objectdir路徑設定不匹配問題

原文出處:tboox.org/cn/2018/10/…

相關文章