Kubernetes部署-二進位制方式

sunnydoy發表於2021-07-22

環境配置

一、系統環境

序號	用途	系統	Docker版本	IP地址
1	Master	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.1
2	Master	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.2
3	Master	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.3
4	Node	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.4
5	Node	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.5

二、磁碟配置

配置/data目錄掛載：

# 安裝必要的軟體
yum install -y lvm2

# 使用parted或者fdisk都行，主要看磁碟大小
# 此處使用fdisk
fdisk /dev/sda

# 建立lvm卷
pvcreate /dev/sda1
vgcreate disk1 /dev/sda1
lvcreate -n data -l +100%FREE disk1

# 格式化磁碟
mkfs.xfs /dev/disk1/data

# 檢視磁碟uuid，並加入開機掛載
blkid /dev/disk1/data
echo "UUID=<uuid> /data  xfs  defaults   0 0" >> /etc/fstab

三、Docker環境安裝配置

安裝docker環境：

# 檢查是否有老版本的docker安裝
yum remove docker \
           docker-client \
           docker-client-latest \
           docker-common \
           docker-latest \
           docker-latest-logrotate \
           docker-logrotate docker-engine
          
# 配置yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 安裝docker
yum install docker-ce docker-ce-cli containerd.io -y

# 配置docker儲存資料夾路徑
mkdir /data/docker
ln -s /data/docker /var/lib/docker

# 啟動
systemctl enable docker
systemctl start docker

配置證書

一、證書介紹

生成的 CA 證書和祕鑰檔案如下：

ca-key.pem
ca.pem
kubernetes-key.pem
kubernetes.pem
kube-proxy.pem
kube-proxy-key.pem
admin.pem
admin-key.pem

使用證書的元件如下：

etcd：使用 ca.pem、kubernetes-key.pem、kubernetes.pem；
kube-apiserver：使用 ca.pem、kubernetes-key.pem、kubernetes.pem；
kubelet：使用 ca.pem；
kube-proxy：使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem；
kubectl：使用 ca.pem、admin-key.pem、admin.pem；
kube-controller-manager：使用 ca-key.pem、ca.pem

注意：以下操作都在 master 節點即192.168.0.1這臺主機上執行，證書只需要建立一次即可，以後在向叢集中新增新節點時只要將 /data/k8s/ 目錄下的證書拷貝到新節點上即可。

二、配置證書生成工具

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

export PATH=/usr/local/bin:$PATH

三、建立 CA (Certificate Authority)

1、建立CA配置檔案：

mkdir /root/k8s_cert/
cd /root/k8s_cert
cfssl print-defaults config > config.json
cfssl print-defaults csr > csr.json
# 根據config.json檔案的格式建立如下的ca-config.json檔案
# 過期時間設定成了 87600h (10 years)
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF

欄位說明

ca-config.json：可以定義多個 profiles，分別指定不同的過期時間、使用場景等引數；後續在簽名證書時使用某個 profile；
signing：表示該證書可用於簽名其它證書；生成的 ca.pem 證書中 CA=TRUE；
server auth：表示client可以用該 CA 對server提供的證書進行驗證；
client auth：表示server可以用該CA對client提供的證書進行驗證。

2、建立 CA 證書籤名請求

建立 ca-csr.json 檔案，內容如下：

{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "HangZhou",
      "O": "k8s",
      "OU": "System"
    }
  ],
    "ca": {
       "expiry": "87600h"
    }
}

"CN"：Common Name，kube-apiserver 從證書中提取該欄位作為請求的使用者名稱 (User Name)；瀏覽器使用該欄位驗證網站是否合法；
"O"：Organization，kube-apiserver 從證書中提取該欄位作為請求使用者所屬的組 (Group)。

3、生成 CA 證書和私鑰

cfssl gencert -initca ca-csr.json | cfssljson -bare ca
ls ca*
ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem

四、建立 kubernetes 證書

建立 kubernetes 證書籤名請求檔案 kubernetes-csr.json：

{
    "CN": "kubernetes",
    "hosts": [
      "127.0.0.1",
      "192.168.174.*",
      "10.254.0.1",
      "K8S-Master01",
      "K8S-Master02",
      "K8S-Master03",
      "K8S-Master*",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "HangZhou",
            "L": "HangZhou",
            "O": "k8s",
            "OU": "System"
        }
    ]
}

如果 hosts 欄位不為空則需要指定授權使用該證書的 IP 或域名列表，由於該證書後續被 etcd 叢集和 kubernetes master 叢集使用，所以上面分別指定了 etcd 叢集、kubernetes master 叢集的主機 IP 和 kubernetes 服務的服務 IP（一般是 kube-apiserver 指定的 service-cluster-ip-range 網段的第一個IP，如 10.254.0.1）。
這是最小化安裝的kubernetes叢集，包括一個私有映象倉庫，三個節點的kubernetes叢集，以上物理節點的IP也可以更換為主機名。

生成 kubernetes 證書和私鑰

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
ls kubernetes*
kubernetes.csr  kubernetes-csr.json  kubernetes-key.pem  kubernetes.pem

五、建立 admin 證書

建立 admin 證書籤名請求檔案 admin-csr.json：

{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "HangZhou",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}

後續 kube-apiserver 使用 RBAC 對客戶端(如 kubelet、kube-proxy、Pod)請求進行授權；
kube-apiserver 預定義了一些 RBAC 使用的 RoleBindings，如 cluster-admin 將 Group system:masters 與 Role cluster-admin 繫結，該 Role 授予了呼叫kube-apiserver 的所有 API的許可權；
O 指定該證書的 Group 為 system:masters，kubelet 使用該證書訪問 kube-apiserver 時，由於證書被 CA 簽名，所以認證通過，同時由於證書使用者組為經過預授權的 system:masters，所以被授予訪問所有 API 的許可權。

注意：這個admin 證書，是將來生成管理員用的kubeconfig 配置檔案用的，現在我們一般建議使用RBAC 來對kubernetes 進行角色許可權控制， kubernetes 將證書中的CN 欄位作為User， O 欄位作為 Group。

在搭建完 kubernetes 叢集后，我們可以通過命令: kubectl get clusterrolebinding cluster-admin -o yaml ,檢視到 clusterrolebinding cluster-admin 的 subjects 的 kind 是 Group，name 是 system:masters。 roleRef 物件是 ClusterRole cluster-admin。意思是凡是 system:masters Group的 user 或者 serviceAccount 都擁有 cluster-admin 的角色。因此我們在使用 kubectl 命令時候，才擁有整個叢集的管理許可權。可以使用 kubectl get clusterrolebinding cluster-admin -o yaml 來檢視。
生成 admin 證書和私鑰：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
ls admin*
admin.csr  admin-csr.json  admin-key.pem  admin.pem

六、建立 kube-proxy 證書

建立 kube-proxy 證書籤名請求檔案 kube-proxy-csr.json：

{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "HangZhou",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

CN 指定該證書的 User 為 system:kube-proxy；
kube-apiserver 預定義的 RoleBinding system:node-proxier 將User system:kube-proxy 與 Role system:node-proxier 繫結，該 Role 授予了呼叫 kube-apiserver Proxy 相關 API 的許可權。

生成 kube-proxy 客戶端證書和私鑰：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy
ls kube-proxy*
kube-proxy.csr  kube-proxy-csr.json  kube-proxy-key.pem  kube-proxy.pem

七、校驗證書

以 kubernetes 證書為例

1、使用 `opsnssl` 命令

[root@k8sm01 k8s_cert]# openssl x509  -noout -text -in  kubernetes.pem
Certificate:
    Data:
        Version: 3 (0x2)
        Serial Number:
            1c:38:1e:b8:fe:61:92:72:d4:c4:9e:96:bd:4f:22:4d:f7:28:93:9e
    Signature Algorithm: sha256WithRSAEncryption
        Issuer: C=CN, ST=HangZhou, L=HangZhou, O=k8s, OU=System, CN=kubernetes
        Validity
            Not Before: Jul 16 14:51:00 2019 GMT
            Not After : Jul 13 14:51:00 2029 GMT
        Subject: C=CN, ST=HangZhou, L=HangZhou, O=k8s, OU=System, CN=kubernetes
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption
                Public-Key: (2048 bit)
                ...
        X509v3 extensions:
            X509v3 Key Usage: critical
                Digital Signature, Key Encipherment
            X509v3 Extended Key Usage: 
                TLS Web Server Authentication, TLS Web Client Authentication
            X509v3 Basic Constraints: critical
                CA:FALSE
            X509v3 Subject Key Identifier: 
                66:F7:4F:A7:A8:51:5C:2C:FB:69:AD:E3:2F:CE:56:03:98:25:73:B5
            X509v3 Authority Key Identifier: 
                keyid:E4:F3:C7:D8:7C:AA:BC:16:23:6D:AA:5F:C1:D7:9B:BA:B3:C7:2B:6C

            X509v3 Subject Alternative Name: 
                DNS:192.168.174.*, DNS:k8sm01, DNS:k8sm02, DNS:k8sm03, DNS:k8sm*, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster, DNS:kubernetes.default.svc.cluster.local, IP Address:127.0.0.1, IP Address:10.254.0.1
        ...

確認 Issuer 欄位的內容和 ca-csr.json 一致；
確認 Subject 欄位的內容和 kubernetes-csr.json 一致；
確認 X509v3 Subject Alternative Name 欄位的內容和 kubernetes-csr.json 一致；
確認 X509v3 Key Usage、Extended Key Usage 欄位的內容和 ca-config.json 中 kubernetes profile 一致。

2、使用 `cfssl-certinfo` 命令

[root@k8sm01 k8s_cert]# cfssl-certinfo -cert kubernetes.pem
{
  "subject": {
    "common_name": "kubernetes",
    "country": "CN",
    "organization": "k8s",
    "organizational_unit": "System",
    "locality": "HangZhou",
    "province": "HangZhou",
    "names": [
      "CN",
      "HangZhou",
      "HangZhou",
      "k8s",
      "System",
      "kubernetes"
    ]
  },
  "issuer": {
    "common_name": "kubernetes",
    "country": "CN",
    "organization": "k8s",
    "organizational_unit": "System",
    "locality": "HangZhou",
    "province": "HangZhou",
    "names": [
      "CN",
      "HangZhou",
      "HangZhou",
      "k8s",
      "System",
      "kubernetes"
    ]
  },
  "serial_number": "161103259632849221888838395004402126225112863646",
  "sans": [
    "192.168.174.*",
    "k8sm01",
    "k8sm02",
    "k8sm03",
    "k8sm*",
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local",
    "127.0.0.1",
    "10.254.0.1"
  ],
  "not_before": "2019-07-16T14:51:00Z",
  "not_after": "2029-07-13T14:51:00Z",
  "sigalg": "SHA256WithRSA",
  ...
}

八、分發證書

mkdir -p /data/k8s/cert
cp *.pem /data/k8s/cert
scp /data/k8s/cert/*.pem <IPADDR>:/data/k8s/cert/

九、參考

配置Kubeconfig檔案

一、建立 TLS Bootstrapping Token

Token auth file
Token可以是任意的包含128 bit的字串，可以使用安全的隨機數發生器生成。

export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')
cat > token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

注意：在進行後續操作前請檢查 token.csv 檔案，確認其中的 ${BOOTSTRAP_TOKEN} 環境變數已經被真實的值替換。

BOOTSTRAP_TOKEN 將被寫入到 kube-apiserver 使用的 token.csv 檔案和 kubelet 使用的 bootstrap.kubeconfig 檔案，如果後續重新生成了 BOOTSTRAP_TOKEN，則需要：

更新 token.csv 檔案，分發到所有機器 (master 和 node）的 /etc/kubernetes/ 目錄下，分發到node節點上非必需；
重新生成 bootstrap.kubeconfig 檔案，分發到所有 node 機器的 /etc/kubernetes/ 目錄下；
重啟 kube-apiserver 和 kubelet 程式；
重新 approve kubelet 的 csr 請求；

二、建立 kubelet bootstrapping kubeconfig 檔案

cd /data/k8s
export KUBE_APISERVER="https://192.168.0.200:8443"

# 設定叢集引數
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/k8s/cert/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig

# 設定客戶端認證引數
kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig

# 設定上下文引數
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig

# 設定預設上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

--embed-certs 為 true 時表示將 certificate-authority 證書寫入到生成的 bootstrap.kubeconfig 檔案中；
設定客戶端認證引數時沒有指定祕鑰和證書，後續由 kube-apiserver 自動生成；

三、建立 kube-proxy kubeconfig 檔案

export KUBE_APISERVER="https://192.168.0.200:8443"
# 設定叢集引數
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/k8s/cert/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig
# 設定客戶端認證引數
kubectl config set-credentials kube-proxy \
  --client-certificate=/data/k8s/cert/kube-proxy.pem \
  --client-key=/data/k8s/cert/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig
# 設定上下文引數
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig
# 設定預設上下文
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

設定叢集引數和客戶端認證引數時 --embed-certs 都為 true，這會將 certificate-authority、client-certificate 和 client-key 指向的證書檔案內容寫入到生成的 kube-proxy.kubeconfig 檔案中；
kube-proxy.pem 證書中 CN 為 system:kube-proxy，kube-apiserver 預定義的 RoleBinding cluster-admin 將User system:kube-proxy 與 Role system:node-proxier 繫結，該 Role 授予了呼叫 kube-apiserver Proxy 相關 API 的許可權；

網路配置

一、安裝flannel

yum install -y flannel

修改配置檔案：

# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="https://192.168.0.1:2379,https://192.168.0.2:2379,https://192.168.0.3:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/nczdevk8s/network"

# Any additional options that you want to pass
FLANNEL_OPTIONS="-etcd-cafile=/data/k8s/cert/ca.pem -etcd-certfile=/data/k8s/cert/kubernetes.pem -etcd-keyfile=/data/k8s/cert/kubernetes-key.pem"

二、配置ipvs

# 安裝軟體
yum install -y conntrack-tools ipvsadm ipset

修改系統配置：

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 確認是否載入成功
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

部署K8S

目錄結構：
/data/k8s/ ------ 包含k8s的配置檔案
/usr/lib/systemd/system/kube* ------ k8s啟動的service檔案
/etc/cni/net.d/* ------ cni的配置檔案
/opt/cni/bin/* ------ cni的二進位制檔案
/usr/local/bin/kube* ------ k8s的二進位制檔案

kubernetes——二進位制多節點部署
2020-10-04
03 . 二進位制部署kubernetes1.18.4
2020-06-25
k8s二進位制部署
2020-11-22
K8S
二進位制部署 Prometheus+Alertmanager+Grafana
2024-03-14
PrometheusGrafana
二進位制與二進位制運算
2021-11-27
進位制詳解：二進位制、八進位制和十六進位制
2021-07-07
JavaScript 二進位制、八進位制與十六進位制
2019-12-20
JavaScript
二進位制方式解決 power 問題
2020-05-17
二進位制方式安裝mysql 5.6.15
2014-01-27
MySql
（二進位制）
2020-12-26
十進位制——二 (八、十六 )進位制
2020-10-11
二進位制，八進位制，十進位制，十六進位制的相互轉換
2020-02-01
二進位制方式安裝 k8s
2021-07-26
K8S
二進位制、十進位制與十六進位制相互轉化
2024-03-28
java中二進位制、八進位制、十進位制、十六進位制的轉換
2018-10-12
Java
二進位制，八進位制，十進位制，十六進位制之間的轉換
2018-07-09
Python 進位制互相轉換（二進位制、十進位制和十六進位制）
2012-12-03
Python
計算機基礎進位制轉換（二進位制、八進位制、十進位制、十六進位制）
2018-09-07
計算機
二進位制轉十進位制快速方法
2020-11-17
JAVA 二進位制，八進位制，十六進位制，十進位制間進行相互轉換
2018-11-12
Java
什麼是二進位制？二進位制如何轉換？
2018-12-12
【原】二進位制部署 k8s 1.18.3
2020-06-27
K8S
大話二進位制，八進位制，十進位制，十六進位制之間的轉換
2015-09-05
JavaScript十進位制轉換為二進位制
2018-07-03
JavaScript
Oracle二進位制與十進位制轉換
2015-12-28
Oracle
[計算機基礎] 計算機進位制轉換：二進位制、八進位制、十進位制、十六進位制
2020-03-16
計算機
一看就懂二進位制、八進位制、十六進位制數轉換十進位制
2021-07-31
python進位制轉換（二進位制、十進位制和十六進位制）及注意事項
2013-01-02
Python
Oracle中的二進位制、八進位制、十進位制、十六進位制相互轉換函式
2012-05-12
Oracle函式
進位制之間的轉換之“十六進位制轉十進位制轉二進位制方案”
2024-04-07
整數轉化成八進位制、十六進位制、二進位制，以及轉回
2020-10-10
十進位制與二進位制互相轉換指南
2018-01-11
二進位制轉十進位制快速轉換方法
2013-03-23
位，位元組，二進位制，十六進位制間的關係
2013-09-17
二進位制方法-部署k8s叢集部署1.18版本
2021-02-07
K8S
python+ mysql儲存二進位制流的方式
2012-12-21
PythonMySql
Windows11二進位制方式安裝MySQL5.7.44
2024-04-14
WindowsMySql
Cocoapods 二進位制
2019-04-23