從原始碼構建docker-ce

神王攻大人發表於2022-12-19

準備環境

準備一臺Linux主機，並在上面安裝好docker-ce，安裝好make，git就可以開始編譯工作了。對，就是如此簡單，可能你會對此感到異或為啥要裝docker,我不是準備編譯這個玩意麼，為啥不裝go,docker不是用go開發的麼？這些疑問會在後面的步驟中解答。

# docker-ce 安裝參考
# FROM: https://developer.aliyun.com/article/110806

# Ubuntu 14.04 16.04 (使用apt-get進行安裝)
# step 1: 安裝必要的一些系統工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安裝GPG證書
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 寫入軟體源資訊
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新並安裝 Docker-CE
sudo apt-get -y update
sudo apt-get -y install docker-ce

注意：其他注意事項在下面的註釋中
# 安裝指定版本的Docker-CE:
# Step 1: 查詢Docker-CE的版本:
# apt-cache madison docker-ce
#   docker-ce | 17.03.1~ce-0~ubuntu-xenial | http://mirrors.aliyun.com/docker-ce/linux/ubuntu xenial/stable amd64 Packages
#   docker-ce | 17.03.0~ce-0~ubuntu-xenial | http://mirrors.aliyun.com/docker-ce/linux/ubuntu xenial/stable amd64 Packages
# Step 2: 安裝指定版本的Docker-CE: (VERSION 例如上面的 17.03.1~ce-0~ubuntu-xenial)
# sudo apt-get -y install docker-ce=[VERSION]

# 透過經典網路、VPC網路內網安裝時，用以下命令替換Step 2、Step 3中的命令
# 經典網路：
# curl -fsSL http://mirrors.aliyuncs.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyuncs.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# VPC網路：
# curl -fsSL http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# sudo add-apt-repository "deb [arch=amd64] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

# CentOS 7 (使用yum進行安裝)
# step 1: 安裝必要的一些系統工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 新增軟體源資訊
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# Step 3: 更新並安裝 Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4: 開啟Docker服務
sudo service docker start

注意：其他注意事項在下面的註釋中
# 官方軟體源預設啟用了最新的軟體，您可以透過編輯軟體源的方式獲取各個版本的軟體包。例如官方並沒有將測試版本的軟體源置為可用，你可以透過以下方式開啟。同理可以開啟各種測試版本等。
# vim /etc/yum.repos.d/docker-ce.repo
#   將 [docker-ce-test] 下方的 enabled=0 修改為 enabled=1
#
# 安裝指定版本的Docker-CE:
# Step 1: 查詢Docker-CE的版本:
# yum list docker-ce.x86_64 --showduplicates | sort -r
#   Loading mirror speeds from cached hostfile
#   Loaded plugins: branch, fastestmirror, langpacks
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
#   docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
#   Available Packages
# Step2 : 安裝指定版本的Docker-CE: (VERSION 例如上面的 17.03.0.ce.1-1.el7.centos)
# sudo yum -y install docker-ce-[VERSION]
# 注意：在某些版本之後，docker-ce安裝出現了其他依賴包，如果安裝失敗的話請關注錯誤資訊。例如 docker-ce 17.03 之後，需要先安裝 docker-ce-selinux。
# yum list docker-ce-selinux- --showduplicates | sort -r
# sudo yum -y install docker-ce-selinux-[VERSION]

# 透過經典網路、VPC網路內網安裝時，用以下命令替換Step 2中的命令
# 經典網路：
# sudo yum-config-manager --add-repo http://mirrors.aliyuncs.com/docker-ce/linux/centos/docker-ce.repo
# VPC網路：
# sudo yum-config-manager --add-repo http://mirrors.could.aliyuncs.com/docker-ce/linux/centos/docker-ce.repo

# 安裝其他工具, 以centos7為例子
yum install -y make git

獲取原始碼

git clone https://github.com/moby/moby.git

其實如果你有對docker二次開發的需求了，我這邊也不用再多費口舌在moby這個奇怪的專案名稱上
其實就個人而言對docker改名這件事也是頗有微詞的，docker公司願意開源docker-ce固然是好事，但是直接換個名稱明擺著是想把docker早期創造出來的名聲都讓公司的付費產品“docker”
上，而不是所謂的moby(docker-ce)。

編譯前的準備工作

如果你工作網路環境足夠優秀（可以穩定的訪問到dockerhub和各種作業系統的源）可以跳過這一小節，肉身在國外的一般沒有這種煩惱。而對於大部分國內的開發者則需要透過代理完成這個開發環境的構建，一下的步驟僅供參考。

新增dockerd的代理

docker的映象拖取工作是由dockerd完成的（而不是你平常使用的docker命令列工具），而dockerd一般掛在systemd的程式下（如果有老哥頭鐵從命令列執行dockerd那麼當我沒說，這樣也能讀到代理的環境變數）。如果要為dockerd新增代理的話可以參考如下操作

# 修改為你自己的http代理地址
cat > /etc/systemd/system/docker.service.d/http-proxy.conf << EOF
[Service]
Environment="HTTP_PROXY=http://192.168.144.1:10811"
Environment="HTTPS_PROXY=http://192.168.144.1:10811"
EOF

systemctl daemon-realod
systemctl restart docker

到這一步只是為映象的拖取操作新增了代理，但是在開發環境中資源的拖取問題還是沒有辦法解決，這點我們稍微修改Makefile可以處理，參考如下操作

1. 在Makefile檔案頭部增加"include .env"
2. Makefile同目錄建立.env檔案並寫入你的環境變數，參考如下
BUILD_PROXY := --build-arg "http_proxy=http://192.168.144.1:10811" --build-arg "https_proxy=http://192.168.144.1:10811"
3. 追加引數到指定的構建引數變數，修改Makefile, 在BUILD_OPTS := *後面的一行增加
BUILD_OPTS += $(BUILD_PROXY)

開始編譯

ntpdate ntp1.aliyun.com # 同步時間，如果時間誤差過大會導致部分源依賴獲取失效，非必須
make BIND_DIR=. shell

構建過程由於或需要拖取映象和資源耗時一般比較長（即使在網路條件較好的情況下），一般要10分鐘左右。
如果構建成功你回進入如下的一個容器內終端

root@3cede98051a6:/go/src/github.com/docker/docker#

這個便是makefile透過dockerfile為你構建的docker-ce的編譯環境,這個環境中你開發和除錯的工具應有盡有，如你還有特殊的需求可以透過修改dockerfile重新構建（別擔心，由於之前構建的快取檔案，你第二次構建只會構建新增部分，不會花太多的時間），專案的根目錄掛載到主機目錄，所以你在此路徑下構建出的二進位制檔案也會寫入到宿主機。
接下來我們開始編譯

hack/make.sh binary

編譯完成

root@3cede98051a6:/go/src/github.com/docker/docker# hack/make.sh binary

Removing bundles/

---> Making bundle: binary (in bundles/binary)
Building: bundles/binary-daemon/dockerd
GOOS="" GOARCH="" GOARM=""
Created binary: bundles/binary-daemon/dockerd
Copying nested executables into bundles/binary-daemon
Building: bundles/binary-daemon/docker-proxy
GOOS="" GOARCH="" GOARM=""
Created binary: bundles/binary-daemon/docker-proxy

root@3cede98051a6:/go/src/github.com/docker/docker#

安裝測試

# 還是在容器內
make install

啟動測試

/usr/local/bin/dockerd -D

你也可以在容器內下載映象，啟動容器

# 在宿主機另開一個終端，並進入容器
[root@localhost moby]# docker ps
CONTAINER ID   IMAGE                      COMMAND            CREATED         STATUS         PORTS                                                                                            NAMES
3cede98051a6   docker-dev                 "hack/dind bash"   8 minutes ago   Up 8 minutes                                                                                                    condescending_swanson
dae301c0f728   yandex/clickhouse-server   "/entrypoint.sh"   33 hours ago    Up 33 hours    0.0.0.0:8123->8123/tcp, :::8123->8123/tcp, 0.0.0.0:9000->9000/tcp, :::9000->9000/tcp, 9009/tcp   ch-server
[root@localhost moby]# docker exec -it 3ced /bin/bash
root@3cede98051a6:/go/src/github.com/docker/docker#
# 下載映象，啟動容器
root@3cede98051a6:/go/src/github.com/docker/docker# docker pull centos:7
7: Pulling from library/centos
Digest: sha256:be65f488b7764ad3638f236b7b515b3678369a5124c47b8d32916d6487418ea4
Status: Image is up to date for centos:7
root@3cede98051a6:/go/src/github.com/docker/docker# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              7                   eeb6ee3f44bd        15 months ago       204MB
root@3cede98051a6:/go/src/github.com/docker/docker# docker run --rm -it eeb /bin/bash
[root@26c12cba6431 /]# exit
exit

使用Delve除錯

都從原始碼構建了，總不可能單純奔著純安裝去的吧，多少是想對docker做點簡單的定製化，這裡就可以使用Delve來除錯我們編譯出來的dockerd二進位制程式了。

dlv /usr/local/bin/dockerd -- -D

哎，咋報錯了

2022-12-14T09:10:43Z error layer=debugger error loading binary "/usr/local/bin/dockerd": could not parse .eh_frame section: pointer encoding not supported 0x9b at 0x3150
could not launch process: could not parse .eh_frame section: pointer encoding not supported 0x9b at 0x3150

這個報錯是由於預設的hack/make.sh中的這一段（我所編譯的版本在105）

IAMSTATIC='true'
if [ -z "$DOCKER_DEBUG" ]; then
	LDFLAGS='-w'
fi

在編譯時加了-w引數刪除了除錯資訊，所以在編譯時新增引數或者寫到環境變數裡就行啦

# 在容器建立時新增debug引數
DOCKER_DEBUG=1 make BIND_DIR=. shell

# 在編譯時新增引數
DOCKER_DEBUG=1 hack/make.sh binary

以上兩種方法都可以，之後就可以使用dlv來除錯docekrd了

root@f42403397fa5:/go/src/github.com/docker/docker# dlv exec --check-go-version=false /usr/local/bin/dockerd -- -D
WARNING: undefined behavior - version of Delve is too old for Go version 1.19.4 (maximum supported version 1.18)
Type 'help' for list of commands.
(dlv)

至於為什麼加上 --check-go-version=false 這個引數，如果你是使用開發中的分支，docker的開發者可能忽略了更新dlv的版本，導致dlv的版本有那麼一絲落後於go的版本。如果你要解決這個問題可以透過修改Dockerfile中的 Delve映象拖取的版本，像是如下這樣，把AELVE_VERSION修改為1.9.1即可。

ARG DELVE_VERSION=v1.8.1
# Delve on Linux is currently only supported on amd64 and arm64;
# https://github.com/go-delve/delve/blob/v1.8.1/pkg/proc/native/support_sentinel.go#L1-L6
RUN --mount=type=cache,target=/root/.cache/go-build \
    --mount=type=cache,target=/go/pkg/mod \
        case $(dpkg --print-architecture) in \
            amd64|arm64) \
                GOBIN=/build/ GO111MODULE=on go install "github.com/go-delve/delve/cmd/dlv@${DELVE_VERSION}" \
                && /build/dlv --help \
                ;; \
            *) \
                mkdir -p /build/ \
                ;; \
        esac

至於delve除錯工具如何使用就不在本文裡細述，可透過help的方式知道如何使用，類似於gdb，上手十分的簡單。

參考

https://github.com/moby/moby/tree/master/docs/contributing
https://github.com/moby/moby/blob/master/docs/contributing/debug.md
https://github.com/moby/moby/blob/master/docs/contributing/set-up-dev-env.md

從原始碼構建TensorFlow流程記錄
2023-01-09
原始碼
如何在Windows上從原始碼構建OpenJFX 8
2018-12-11
Windows原始碼
Vue.js原始碼解析-從scripts指令碼看vue構建
2021-05-18
Vue.js原始碼指令碼
從 Chrome 原始碼看瀏覽器如何構建 DOM 樹
2017-02-06
Chrome原始碼瀏覽器
【Tomcat 原始碼系列】原始碼構建 Tomcat
2020-12-12
Tomcat原始碼
Vue.js 原始碼構建
2019-08-27
Vue.js原始碼
Flutter原始碼剖析(一):原始碼獲取與構建
2020-11-01
Flutter原始碼
使用 Docker 構建 Nebula Graph 原始碼
2019-11-01
Docker原始碼
gradle構建spring原始碼
2019-10-03
GradleSpring原始碼
Vue原始碼: 建構函式入口
2019-05-02
Vue原始碼函式
tomcat8.5原始碼構建
2020-12-09
Tomcat原始碼
從原始碼構建一個極簡的Linux作業系統
2023-02-23
原始碼Linux作業系統
vue原始碼解讀-建構函式
2018-11-20
Vue原始碼函式
Mybatis原始碼簡單解讀----構建
2020-11-13
MyBatis原始碼
SpringSecurity 原始碼分析之SecurityFilterchain的構建
2019-03-28
SpringGse原始碼FilterAI
Vue原始碼探究-構建版本的區別
2018-09-22
Vue原始碼
配置軟體原始碼包構建環境
2015-12-12
原始碼
原始碼編譯構建JSVC執行程式
2017-11-09
原始碼編譯JS行程
使用Deno和WebSockets構建實時聊天原始碼案例
2020-08-25
Web原始碼
Android 原始碼分析（一）專案構建過程
2019-02-21
Android原始碼
深入Vue - 原始碼目錄及構建過程分析
2019-02-19
Vue原始碼
Elasticsearch6.1.2原始碼下載和編譯構建
2022-09-08
Elasticsearch原始碼編譯
Laravel 原始碼閱讀指南 -- Database 查詢構建器
2018-06-08
Laravel原始碼Database
使用JHipster構建Spring和React構建電子商務應用程式原始碼 -DEV
2020-06-25
SpringReact原始碼dev
深入剖析Vue原始碼 - 響應式系統構建(下)
2019-07-11
Vue原始碼
深入剖析Vue原始碼 - 響應式系統構建(上)
2019-06-17
Vue原始碼
深入剖析Vue原始碼 - 響應式系統構建(中)
2019-07-08
Vue原始碼
原始碼解析.Net中Host主機的構建過程
2021-09-10
原始碼
Vite 原始碼解讀系列（圖文結合） —— 構建篇
2022-03-02
Vite原始碼
Magic原始碼閱讀（三）——資料匯入和構建
2020-10-09
原始碼
從Mpx資源構建優化看splitChunks程式碼分割
2022-06-29
優化
從零構建Android工程
2018-11-29
Android
vue 原始碼學習（一）目錄結構和構建過程簡介
2019-02-16
Vue原始碼
人人都能懂的Vue原始碼系列(二)—Vue建構函式
2019-03-04
Vue原始碼函式
元宇宙的系統原始碼構建、遊戲開發
2022-05-28
元宇宙原始碼遊戲開發
從原始碼分析IntentService
2016-05-16
原始碼Intent
修改gradle指令碼，加速spring4.1原始碼編譯構建速度
2022-06-05
Gradle指令碼Spring原始碼編譯
Docker折騰記: (1)構建yapi容器,從構建釋出到可用
2018-07-18
DockerAPI