OpenHarmony Docker移植實踐

OpenHarmony開發者發表於2023-05-18
Docker

Docker簡介

從作業系統誕生之日起，虛擬化技術就不斷的演進與發展，結合目前雲原生的發展態勢，容器無疑是其中的重要一環。

Docker是一個開源的軟體專案，可以在Linux作業系統上提供一層額外的抽象，讓使用者程式部署在一個相對隔離的執行環境，並提供自動管理機制。

需要額外指出的是，Docker並不等於容器（containers），Docker只是容器的一種，其他種類的容器還有Kata container，Rocket container等。

圖片

編譯環境搭建

準備一個可以執行Docker的虛擬機器作業系統，推薦ubuntu或者openEuler的發行版。

搭建環境[1]：在ubuntu虛擬機器上執行以下步驟，下載OpenAtom OpenHarmony（簡稱“OpenHarmony”）的原始碼並部署Docker編譯環境。

1、安裝gitee repo工具[2]

mkdir ~/bincurl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 -o ~/bin/repo chmod a+x ~/bin/repopip3 install -i https://repo.huaweicloud.com/repository/pypi/simple requests

2、獲取OpenHarmony原始碼
（1）在ubuntu虛擬機器上建立原始碼目錄：

mkdir /home/openharmony
cd /home/openharmory

（2）使用repo命令獲取OpenHarmony v3.2 release原始碼：

repo init -u git@gitee.com:openharmony/manifest.git -b OpenHarmony-3.2-Release --no-repo-verify
repo sync -c
repo forall -c 'git lfs pull'

以上步驟完成後，可以獲取到OpenHarmony編譯所需的完整的原始碼，程式碼目錄結構如下圖所示：

圖片

3、獲取Docker編譯環境

獨立Docker編譯環境，適用於編譯輕量和小型系統/標準系統.[3]

（1）獲取OpenHarmony Docker編譯映象

docker pull swr.cn-south-1.myhuaweicloud.com/openharmony-docker/openharmony-docker:1.0.0

此Docker編譯環境較大，請耐心等待下載完成。

（2）進入原始碼根目錄，啟動並進入Docker編譯環境。執行以下命令：

cd /home/openharmory
docker run --name ohos_build -it -v $(pwd):/home/openharmony swr.cn-south-1.myhuaweicloud.com/openharmony-docker/openharmony-docker:1.0.0

命令引數說明：
-v X:Y 將宿主機的X目錄掛載到容器的Y目錄下。
將當前原始碼所在目錄，掛載到容器編譯環境的/home/openharmony目錄下。

（3）安裝編譯依賴
透過步驟（2）進入容器的shell後，切換到/home/openharmony路徑，執行指令碼下載OpenHarmony編譯所依賴的元件：

cd /home/openharmony
./build/prebuilts_download.sh

此處需要下載的編譯依賴較多，請耐心等待下載完成。

至此OpenHarmony Docker編譯環境準備完畢，在執行編譯動作之前，需要完成OpenHarmony kernel特性的修改，否則Docker無法在OpenHarmony系統上正常執行。

kernel配置修改

如何判斷原始碼使用預設配置編譯後生成的kernel是否滿足Docker的執行依賴呢？開源社群存在檢查工具，可以幫助我們完成這個任務，大家可以自行獲取此工具[4] 。

在此我們直接進入kernel配置的修改環節。

1、修改OpenHarmony kernel配置檔案，開啟Docker執行所依賴的核心功能。
需要修改的配置檔案位置如下：

kernel/linux/config/linux-5.10/arch/arm64/configs/rk3568_standard_defconfig

針對kernel特性的修改，主要是開啟OpenHarmony核心中namespace、cgroup、network、overlay filesystem等功能。在配置檔案的末尾追加以下內容：

# add for Docker
CONFIG_POSIX_MQUEUE=y
CONFIG_SCHED_WALT=y
CONFIG_PSI=y
CONFIG_PAGE_COUNTER=y
CONFIG_CGROUP_BPF=y
CONFIG_MEMCG_KMEM=y
CONFIG_MEMCG_SWAP_ENABLED=y
CONFIG_BLK_CGROUP=y
CONFIG_BLK_DEV_THROTTLING=y
CONFIG_RT_GROUP_SCHED=y
CONFIG_CGROUP_PIDS=y
CONFIG_CGROUP_HUGETLB=y
CONFIG_CGROUP_PERF=y
CONFIG_NET_CLS_CGROUP=y
CONFIG_BPF_SYSCALL=y
CONFIG_BINFMT_MISC=y
CONFIG_TLS=y
CONFIG_IP_MULTIPLE_TABLES=y
CONFIG_IP_MROUTE_MULTIPLE_TABLES=y
CONFIG_INET_ESP=y
CONFIG_IPV6_MIP6=y
CONFIG_IPV6_MULTIPLE_TABLES=y
CONFIG_IPV6_MROUTE=y
CONFIG_IPV6_MROUTE_MULTIPLE_TABLES=y
CONFIG_NF_CONNTRACK=y
CONFIG_NETFILTER_XT_MARK=y
CONFIG_NETFILTER_XT_SET=y
CONFIG_NETFILTER_XT_TARGET_CHECKSUM=y
CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=y
CONFIG_NETFILTER_XT_MATCH_CONNTRACK=y
CONFIG_NETFILTER_XT_MATCH_IPVS=y
CONFIG_NETFILTER_XT_MATCH_CGROUP=y
CONFIG_IP_SET=y
CONFIG_IP_SET_HASH_IP=y
CONFIG_IP_SET_HASH_NET=y
CONFIG_IP_VS=y
CONFIG_IP_VS_NFCT=y
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_RR=y
CONFIG_IP_VS_WRR=y
CONFIG_IP_VS_SH=y
CONFIG_IP_NF_MATCH_STATE=y
CONFIG_IP_NF_MATCH_LIMIT=y
CONFIG_IP_NF_TARGET_LOG=y
CONFIG_NF_NAT=y
CONFIG_IP_NF_FTP=y
CONFIG_IP_NF_TARGET_REDIRECT=y
CONFIG_IP_NF_CONNTRACK=y
CONFIG_IP_NF_IRC=y
CONFIG_IP_NF_NAT=y
CONFIG_IP_NF_FILTER=y
CONFIG_IP_NF_TARGET_MASQUERADE=y
CONFIG_BRIDGE=y
CONFIG_BRIDGE_NETFILTER=y
CONFIG_CGROUP_NET_PRIO=y
CONFIG_STREAM_PARSER=y
CONFIG_DRIVERS_HDF_LIGHT=y
CONFIG_HYPERHOLD=y
CONFIG_HYPERHOLD_DEBUG=y
CONFIG_HYPERHOLD_ZSWAPD=y
CONFIG_HYPERHOLD_FILE_LRU=y
CONFIG_HYPERHOLD_MEMCG=y
CONFIG_ZRAM_GROUP=y
CONFIG_ZRAM_GROUP_DEBUG=y
CONFIG_ZLIST_DEBUG=y
CONFIG_ZRAM_GROUP_WRITEBACK=y
CONFIG_REGMAP_SPI=y
CONFIG_MACVLAN=y
CONFIG_VXLAN=y
CONFIG_AUFS_FS=y
CONFIG_VETH=y
CONFIG_DRM_DW_HDMI_I2S_AUDIO=y
CONFIG_SND_TIMER=y
CONFIG_SND_PCM=y
CONFIG_SND_PCM_ELD=y
CONFIG_SND_PCM_IEC958=y
CONFIG_SND_DMAENGINE_PCM=y
CONFIG_SND_HWDEP=y
CONFIG_SND_SEQ_DEVICE=y
CONFIG_SND_RAWMIDI=y
CONFIG_SND_JACK=y
CONFIG_SND_JACK_INPUT_DEV=y
CONFIG_SND_PCM_TIMER=y
CONFIG_SND_HRTIMER=y
CONFIG_SND_DYNAMIC_MINORS=y
CONFIG_SND_MAX_CARDS=32
CONFIG_SND_PROC_FS=y
CONFIG_SND_VERBOSE_PROCFS=y
CONFIG_SND_SEQUENCER=y
CONFIG_SND_SEQ_DUMMY=y
CONFIG_SND_SEQ_HRTIMER_DEFAULT=y
CONFIG_SND_SEQ_MIDI_EVENT=y
CONFIG_SND_SEQ_MIDI=y
CONFIG_SND_DRIVERS=y
CONFIG_SND_HDA_PREALLOC_SIZE=64
CONFIG_SND_USB=y
CONFIG_SND_USB_AUDIO=y
CONFIG_SND_USB_AUDIO_USE_MEDIA_CONTROLLER=y
CONFIG_SND_SOC=y
CONFIG_SND_SOC_GENERIC_DMAENGINE_PCM=y
CONFIG_SND_SOC_ROCKCHIP=y
CONFIG_SND_SOC_ROCKCHIP_I2S=y
CONFIG_SND_SOC_ROCKCHIP_I2S_TDM=y
CONFIG_SND_SOC_ROCKCHIP_PDM=y
CONFIG_SND_SOC_ROCKCHIP_SPDIF=y
CONFIG_SND_SOC_ROCKCHIP_SPDIFRX=y
CONFIG_SND_SOC_ROCKCHIP_MAX98090=y
CONFIG_SND_SOC_ROCKCHIP_MULTICODECS=y
CONFIG_SND_SOC_ROCKCHIP_RT5645=y
CONFIG_SND_SOC_ROCKCHIP_HDMI=y
CONFIG_SND_SOC_DUMMY_CODEC=y
CONFIG_SND_SOC_HDMI_CODEC=y
CONFIG_SND_SOC_ES7202=y
CONFIG_SND_SOC_ES7243E=y
CONFIG_SND_SOC_ES8311=y
CONFIG_SND_SOC_ES8316=y
CONFIG_SND_SOC_MAX98090=y
CONFIG_SND_SOC_RK3308=y
CONFIG_SND_SOC_RK3328=y
CONFIG_SND_SOC_RK817=y
CONFIG_SND_SOC_RK_CODEC_DIGITAL=y
CONFIG_SND_SOC_RL6231=y
CONFIG_SND_SOC_RT5616=y
CONFIG_SND_SOC_RT5640=y
CONFIG_SND_SOC_RT5645=y
CONFIG_SND_SOC_RT5651=y
CONFIG_SND_SOC_SPDIF=y
CONFIG_SND_SOC_TS3A227E=y
CONFIG_SND_SIMPLE_CARD_UTILS=y
CONFIG_SND_SIMPLE_CARD=y
CONFIG_ANDROID_PARANOID_NETWORK=y
CONFIG_ACCESS_TOKENID=y
CONFIG_F2FS_GRADING_SSR=y
CONFIG_OVERLAY_FS=y
CONFIG_HUGETLBFS=y
CONFIG_HUGETLB_PAGE=y
CONFIG_CRYPTO_SEQIV=y
# end

2、修改OpenHarmony配置檔案 build/ohos/images/build_image.py 新增Docker執行依賴的目錄：'run', 'var', 'opt', 'usr'。

_dir_list = [
    'config', 'dev', 'proc', 'sys', 'updater', 'system', 'vendor', 'data',
    'chipset', 'storage', 'mnt', 'tmp', 'sys_prod', 'chip_prod',
    'run', 'var', 'opt', 'usr'
]

3、修改OpenHarmony配置檔案 
base/security/selinux/sepolicy/base/system/file_contexts
新增以下內容：

/run                u:object_r:rootfs:s0
/var                u:object_r:rootfs:s0
/opt                u:object_r:rootfs:s0
/usr                u:object_r:rootfs:s0
/lib                u:object_r:rootfs:s0

至此準備工作結束，進入OpenHarmony系統編譯環節。

OpenHarmony編譯

本文以適配觸覺開發板為例，對程式碼編譯流程進行說明。
在OpenHarmony原始碼路徑下，執行以下命令觸發編譯：

./build.sh --product-name rk3568 --ccache --jobs $(nproc)

編譯正常結束後，產物存放在以下位置：

圖片

接下來就需要將目錄下的產物複製到Windows環境，使用開發板廠商提供的燒寫工具完成系統燒寫。

說明：
清理編譯路徑下已生成的檔案，可以執行命令：hb 
clean命令會清理out路徑下生成的檔案。如果要重編核心，需要確認out/kernel路徑被移除，然後重新觸發編譯即可。

燒寫

燒錄工作需要使用Windows環境，且依賴廠商提供的燒寫工具及驅動助手[5]。

圖片

1、RK驅動助手
解壓後需要執行DriverInstall.exe，完成安裝，否則燒寫工具無法識別到開發板。

2、AndroidTool燒寫工具
解壓後直接執行RKDevTool.exe，開啟燒錄操作介面，如下圖所示：

圖片

燒錄步驟做如下說明：
1）在瑞芯微開發工具介面，點選[裝置分割槽表]，讀取裝置分割槽；
2）按照裝置分割槽的起始地址修改燒錄項，匯入前序步驟生成的img檔案；
3）點選[執行]後進入系統燒錄流程。

開發板完成燒錄後，會自動進行重啟。之後可以透過HDC除錯工具登入OpenHarmony shell互動命令列，完成Docker的部署操作。

HDC除錯工具

HDC（OpenHarmony Device Connector）[6] 是為開發人員提供的用於裝置連線除錯的命令列工具，該工具支援部署在Windows/Linux/Mac等系統上與OpenHarmony裝置（或模擬器）進行連線除錯通訊。

工具可以透過OpenHarmony官方的每日構建dailybuilds[7] 或釋出的SDK[8] 中獲得，根據使用的系統平臺到相應的toolchains目錄下提取。

以SDK為例，解壓後HDC工具路徑如下：

ohos-sdk\windows\toolchains-windows-x64-3.2.11.9-Release.zip\toolchains\

HDC工具的基本使用方法：（在Windows PowerShell中執行命令）

# 進入除錯shell
> .\hdc.exe shell
# 檔案複製，從openharmony系統下載檔案至Windows的當前目錄下：
> .\hdc.exe file recv /data/xxxx .
# 檔案複製，從windows環境上傳檔案到openharmony的/data目錄下：
> .\hdc.exe file send .\testfile /data/

Docker環境配置

歷經坎坷，終於到了最後一步Docker部署的環節。透過HDC工具連線到觸覺開發板之後，執行以下步驟。

1、執行指令碼修改跟目錄的讀寫許可權。指令碼內容如下：

#!/bin/sh
#remount / to rw property
mount -o remount -rw /
#mount cgroup
mount -t tmpfs -o rw,nosuid,nodev,noexec,mode=755 tmpfs /sys/fs/cgroup
#create related folder
cd /sys/fs/cgroup
mkdir pids cpuset blkio cpu,cpuacct memory devices net_cls,net_prio perf_event
#mount files related cgroup
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,pids cgroup /sys/fs/cgroup/pids
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,cpuset cgroup /sys/fs/cgroup/cpuset
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,blkio cgroup /sys/fs/cgroup/blkio
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,cpu,cpuacct cgroup /sys/fs/cgroup/cpu,cpuacct
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,memory cgroup /sys/fs/cgroup/memory
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,devices cgroup /sys/fs/cgroup/devices
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,net_cls,net_prio cgroup /sys/fs/cgroup/net_cls,net_prio
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,perf_event cgroup /sys/fs/cgroup/perf_event
mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,freezer cgroup /sys/fs/cgroup/freezer

2、部署Docker靜態可執行檔案
下載Docker靜態可執行檔案，當前選用的是20.10.21版本 [9]。

使用HDC工具將下載的壓縮包上傳至觸覺開發環境並解壓，將解壓目錄下的檔案全部複製到/system/bin目錄下即可。解壓後目錄結構如圖所示：

圖片

3、建立Docker執行所需的目錄及配置檔案

mkdir /system/etc/docker
mkdir /var/run

建立/system/etc/docker/daemon.json檔案，並新增以下檔案內容

{
  "registry-mirrors":["https://veotnqhz.mirror.aliyuncs.com","https://hub-mirror.c.163.com", "https://mirror.baidubce.com"],
  "data-root":"/data/data/dockerdir"
}

4、新增庫別名
由於Docker執行時使用的庫與OpenHarmony環境存在的庫名稱不同，需要建立一個軟連結別名。

ln -s /lib/ld-musl-arm.so.1 /lib/ld-musl-armhf.so.1

5、手動拉起Docker的服務程式# 

# 拉起dockerd守護程式
dockerd -D -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock &

6、驗證Docker基本功能

# 判斷docker命令可以正常執行 
docker --verison
# 判斷docker命令可以正常拉取、執行遠端映象（前提是網路可用）
docker run hello-world

圖片

至此OpenHarmony上Docker的基本功能已經實現，大家可以嘗試匯入或部署自己的Docker應用。

參考連結

[1] https://gitee.com/openharmony/docs/blob/master/zh-cn/device-d...
[2] https://gitee.com/help/articles/4316#article-header0
[3] https://gitee.com/openharmony/docs/blob/master/zh-cn/device-d...
[4]https://github.com/moby/moby/blob/master/contrib/check-config.sh
[5] https://www.t-firefly.com/doc/download/107.html
[6] https://gitee.com/openharmony/developtools_hdc
[7] http://ci.openharmony.cn/dailys/dailybuilds
[8] https://repo.huaweicloud.com/harmonyos/os/3.2-Release/ohos-sd...
[9]https://download.docker.com/linux/static/stable/aarch64/docke...

圖片

相關文章