使用虛擬機器在3臺centos7系統安裝docker和k8s叢集

monkjavaer發表於2022-05-21
虛擬機CentOSDockerK8S

一、安裝docker

環境：準備3臺centos7系統，都安裝上docker環境，具體安裝步驟和流程如下

參考：

https://docs.docker.com/install/linux/docker-ce/centos/
https://yeasy.gitbooks.io/docker_practice/content/install/

1.1 centos7配置yum源

> cd /etc/yum.repos.d/
> mkdir repo_bak
> mv *.repo repo_bak/
> wget http://mirrors.aliyun.com/repo/Centos-7.repo
> wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
> yum clean all
> yum makecache

1.2 解除安裝舊版本docker

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

1.3 使用儲存庫安裝docker

安裝所需的包

 sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

使用以下命令設定穩定儲存庫。

# 阿里源，國內速度快
sudo yum-config-manager \
    --add-repo \
    https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

1.4 安裝DOCKER CE

安裝最新docker

sudo yum install docker-ce docker-ce-cli containerd.io

或者yum列出docker再進行安裝

yum list docker-ce --showduplicates | sort -r

sudo yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io

例如，docker-ce-18.09.1

1.5 建立 加入docker 使用者組

預設情況下，docker 命令會使用 Unix socket 與 Docker 引擎通訊。而只有 root 使用者和 docker 組的使用者才可以訪問 Docker 引擎的 Unix socket。出於安全考慮，一般 Linux 系統上不會直接使用 root 使用者。因此，更好地做法是將需要使用 docker 的使用者加入 docker 使用者組。

sudo groupadd docker
sudo usermod -aG docker $USER

1.5 啟動Docker

sudo systemctl start docker #啟動
sudo systemctl enable docker #開機啟動

檢視有關Docker安裝的更多詳細資訊

docker --version
docker version
docker info

測試hello-world

docker run hello-world

List Docker images

docker image ls

List Docker containers (running, all, all in quiet mode)

docker container ls
docker container ls --all
docker container ls -aq

1.6 解除安裝Docker CE

sudo yum remove docker-ce
sudo rm -rf /var/lib/docker

1.7 國內加速

vim /etc/docker/daemon.json

加入：

{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]
}

重啟：

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

二、安裝Kubernetes叢集

參考：
https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
https://blog.csdn.net/MssGuo/article/details/122773155

2.1 系統設定

systemctl stop firewalld			#關閉防火牆
systemctl disable firewalld		#設定開機不啟動

[root@master ~]# vim /etc/selinux/config		#永久關閉selinux
SELINUX=disabled

#關閉swap（k8s禁止虛擬記憶體以提高效能）
[root@master ~]# 
#永久禁用swap,註釋掉/etc/fstab裡的swap配置
#/dev/mapper/centos-swap swap           swap    defaults    0 0
#free -h  #可檢視

kubernetes1.14之後的版本推薦使用systemd,但docker預設的Cgroup Driver 是Cgroup，會使得kubelet部署報錯（叢集都這樣修改）


[root@master ~]# docker info | grep -i "Cgroup Driver"		#檢視一下docker使用的Cgroup Driver，還真是cgroupfs
 Cgroup Driver: cgroupfs

#處理辦法：修改/etc/docker/daemon.json 檔案，新增如下引數：
[root@master ~]# vim /etc/docker/daemon.json 				#為了保持所有節點docker配置一致，所以其它節點的docker也改了
{
    "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],	#這句是之前就配置了的，但要注意加一個道號
    "exec-opts": ["native.cgroupdriver=systemd"]			#新增這一句
}
[root@master ~]# systemctl restart docker
[root@master ~]# docker info | grep -i "Cgroup Driver"		#檢視驗證
 Cgroup Driver: systemd

2.2 安裝kubelet、kubeadm、kubectl

kubelet (真正的k8s服務) 執行在Cluster所有節點上，負責啟動Pod和容器。
kubeadm （只是工具）用於初始化Cluster。
kubectl （只是工具）是Kubernetes命令列工具。通過kubectl可以部署和管理應用，檢視各種資源，建立、刪除和更新各種元件。

配置kubernetes的阿里雲yum源（所有節點伺服器都需要執行）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安裝kubelet等服務、工具（所有節點伺服器都需要執行）

yum install -y kubeadm-1.23.1-0 kubectl-1.23.1-0 kubelet-1.23.1-0

設定k8s服務kubelet開機啟動（所有節點伺服器都需要執行）

# 設定開機啟動
systemctl enable kubelet

# 啟動命令
systemctl start kubelet

2.3 設定網橋引數

#往k8s.conf檔案新增內容
cat > /etc/sysctl.d/k8s.conf <<EOF   
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
vm.swappiness=0
EOF

#生效
sysctl --system

2.4 設定主機名

cat >> /etc/hosts <<EOF
192.168.1.20 master
192.168.1.21 node1
192.168.1.22 node2
EOF

2.5 使用kubeadm安裝k8s

1、建立一個master節點，kubeadm init。
2、將node節點加入kubernetes叢集，kubeadm join <master_IP:port >。

初始化【master節點】的控制皮膚

# kubeadm init --help可以檢視命令的具體引數用法
kubeadm init \
--apiserver-advertise-address=192.168.1.20 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.1 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

#再開一個視窗，執行docker images可以看到，其實執行kubeadm init時k8s去拉取了好多映象
  • --apiserver-advertise-address=192.168.1.20 即master節點的IP
  • --image-repository registry.aliyuncs.com/google_containers 設定映象倉庫為國內的阿里雲映象
  • --kubernetes-version v1.23.1 設定k8s的版本
  • --service-cidr=10.96.0.0/12 設定node節點的網路
  • --pod-network-cidr指定Pod網路的範圍。Kubernetes支援多種網路方案，而且不同網路方案對--pod-network-cidr有自己的要求，這裡設定為10.244.0.0/16是因為我們將使用flannel網路方案，必須設定成這個CIDR。

2.6 成功後的返回以及操作

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.1.20:6443 --token deg1pk.88lgg93hqh74mbcg \
        --discovery-token-ca-cert-hash sha256:81eeac318c2eba7a06cdabb2b4cb30bfedd4359a7c1cd7b508b68f9f74fddbe5

2.7 將node節點加入叢集

使用mater init 返回的命令。這段kubeamd join命令的token只有24h，24h就過期，需要執行kubeadm token create --print-join-command 重新生成。

kubeadm join 192.168.1.20:6443 --token deg1pk.88lgg93hqh74mbcg \
        --discovery-token-ca-cert-hash sha256:81eeac318c2eba7a06cdabb2b4cb30bfedd4359a7c1cd7b508b68f9f74fddbe5

2.8 在master節點配置pod網路建立（部署容器網路，CNI網路外掛）

  • node節點加入k8s叢集后，在master上執行kubectl get nodes發現狀態是NotReady，因為還沒有部署CNI網路外掛，其實在步驟四初始化完成master節點的時候k8s已經叫我們去配置pod網路了。
  • 在k8s系統上Pod網路的實現依賴於第三方外掛進行，這類外掛有近數十種之多，較為著名的有flannel、calico、canal和kube-router等，簡單易用的實現是為CoreOS提供的flannel專案。
#執行下面這條命令線上配置pod網路，因為是國外網站，所以可能報錯，測試去http://ip.tool.chinaz.com/網站查到
#域名raw.githubusercontent.com對應的IP，把域名解析配置到/etc/hosts檔案，然後執行線上配置pod網路，多嘗試幾次即可成功。

kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

檢視pod狀態：

kubectl get pods -n kube-system

相關文章