Docker管理工具 - Swarm部署記錄

散盡浮華發表於2017-05-18
DockerSwarm

 

之前介紹了Docker叢集管理工具-Kubernetes部署記錄，下面介紹另一個管理工具Swarm的用法，Swarm是Docker原生的叢集管理軟體，與Kubernetes比起來比較簡單。

Swarm介紹

Swarm這個專案名稱特別貼切。在Wiki的解釋中，Swarm behavior是指動物的群集行為。比如我們常見的蜂群，魚群，秋天往南飛的雁群都可以稱作Swarm behavior。

Swarm專案正是這樣，通過把多個Docker Engine聚集在一起，形成一個大的docker-engine，對外提供容器的叢集服務。同時這個叢集對外提供Swarm API，使用者可以像使用Docker Engine一樣使用Docker叢集。

Swarm是Docker公司在2014年12月初發布的容器管理工具，和Swarm一起釋出的Docker管理工具還有Machine以及Compose。Swarm是一套較為簡單的工具，用以管理Docker叢集，使得Docker叢集暴露給使用者時相當於一個虛擬的整體。Swarm將一群Docker宿主機變成一個單一的，虛擬的主機。Swarm使用標準的Docker API介面作為其前端訪問入口，換言之，各種形式的Docker Client(docker client in Go, docker_py, docker等)均可以直接與Swarm通訊。Swarm幾乎全部用Go語言來完成開發，Swarm0.2版本增加了一個新的策略來排程叢集中的容器，使得在可用的節點上傳播它們，以及支援更多的Docker命令以及叢集驅動。Swarm deamon只是一個排程器（Scheduler）加路由器(router)，Swarm自己不執行容器，它只是接受docker客戶端傳送過來的請求，排程適合的節點來執行容器，這意味著，即使Swarm由於某些原因掛掉了，叢集中的節點也會照常執行，當Swarm重新恢復執行之後，它會收集重建叢集資訊。

Docker的Swarm(叢集)模式，整合很多工具和特性，比如：跨主機上快速部署服務，服務的快速擴充套件，叢集的管理整合到docker引擎，這意味著可以不可以不使用第三方管理工具。分散設計，宣告式的服務模型，可擴充套件，狀態協調處理，多主機網路，分散式的服務發現，負載均衡，滾動更新，安全（通訊的加密）等等,下面就來認識下Swarm（對於Swarm管理的詳細操作可以參考：https://www.centos.bz/tag/swarm/page/3/）

Swarm 特點
1) 對外以Docker API介面呈現，這樣帶來的好處是，如果現有系統使用Docker Engine，則可以平滑將Docker Engine切到Swarm上，無需改動現有系統。
2) Swarm對使用者來說，之前使用Docker的經驗可以繼承過來。非常容易上手，學習成本和二次開發成本都比較低。同時Swarm本身專注於Docker叢集管理，非常輕量，佔用資源也非常少。簡單說，就是外掛化機制，Swarm中的各個模組都抽象出了API，可以根據自己一些特點進行定製實現。
3)  Swarm自身對Docker命令引數支援的比較完善，Swarm目前與Docker是同步釋出的。Docker的新功能，都會第一時間在Swarm中體現。

Docker自誕生以來，其容器特性以及映象特性給DevOps愛好者帶來了諸多方便。然而在很長的一段時間內，Docker只能在單host上執行，其跨host的部署、執行與管理能力頗受外界詬病。跨host能力的薄弱，直接導致Docker容器與host的緊耦合，這種情況下，Docker容器的靈活性很難令人滿意，容器的遷移、分組等都成為很難實現的功能點。

Swarm架構

Swarm作為一個管理Docker叢集的工具，首先需要將其部署起來，可以單獨將Swarm部署於一個節點。另外，自然需要一個Docker叢集，叢集上每一個節點均安裝有Docker。具體的Swarm架構圖可以參照下圖：

Swarm架構中最主要的處理部分自然是Swarm節點，Swarm管理的物件自然是Docker Cluster，Docker Cluster由多個Docker Node組成，而負責給Swarm傳送請求的是Docker Client。

Swarm關鍵概念
1）Swarm
叢集的管理和編排是使用嵌入到docker引擎的SwarmKit，可以在docker初始化時啟動swarm模式或者加入已存在的swarm

2）Node
一個節點(node)是已加入到swarm的Docker引擎的例項 當部署應用到叢集，你將會提交服務定義到管理節點，接著Manager管理節點排程任務到worker節點，manager節點還執行維護叢集的狀態的編排和群集管理功能，worker節點接收並執行來自manager節點的任務。通常，manager節點也可以是worker節點，worker節點會報告當前狀態給manager節點. 

3）服務（Service）
服務是要在worker節點上要執行任務的定義，它在工作者節點上執行，當你建立服務的時，你需要指定容器映象

4）任務（Task）
任務是在docekr容器中執行的命令，Manager節點根據指定數量的任務副本分配任務給worker節點

==========================================================================
docker swarm：叢集管理，子命令有init, join, leave, update。（docker swarm --help檢視幫助）
docker service：服務建立，子命令有create, inspect, update, remove, tasks。（docker service--help檢視幫助）
docker node：節點管理，子命令有accept, promote, demote, inspect, update, tasks, ls, rm。（docker node --help檢視幫助）

node是加入到swarm叢集中的一個docker引擎實體，可以在一臺物理機上執行多個node，node分為：
- manager nodes，也就是管理節點
- worker nodes，也就是工作節點

1）manager node管理節點：執行叢集的管理功能，維護叢集的狀態，選舉一個leader節點去執行排程任務。
2）worker node工作節點：接收和執行任務。參與容器叢集負載排程，僅用於承載task。
3）service服務：一個服務是工作節點上執行任務的定義。建立一個服務，指定了容器所使用的映象和容器執行的命令。service是執行在worker nodes上的task的描述，service的描述包括使用哪個docker 映象，以及在使用該映象的容器中執行什麼命令。
4）task任務：一個任務包含了一個容器及其執行的命令。task是service的執行實體，task啟動docker容器並在容器中執行任務。

Swarm工作方式

1）Node

2）Service（服務, 任務, 容器）

3）任務與排程

4）服務副本與全域性服務

Swarm排程策略
Swarm在scheduler節點（leader節點）執行容器的時候，會根據指定的策略來計算最適合執行容器的節點，目前支援的策略有：spread, binpack, random.
1）Random
顧名思義，就是隨機選擇一個Node來執行容器，一般用作除錯用，spread和binpack策略會根據各個節點可用的CPU, RAM以及正在執行的容器數量來計算應該執行容器的節點。

2）Spread
在同等條件下，Spread策略會選擇執行容器最少的那臺節點來執行新的容器，binpack策略會選擇執行容器最集中的那臺機器來執行新的節點。使用Spread策略會使得容器會均衡的分佈在叢集中的各個節點上執行，一旦一個節點掛掉了只會損失少部分的容器。

3）Binpack
Binpack策略最大化的避免容器碎片化，就是說binpack策略儘可能的把還未使用的節點留給需要更大空間的容器執行，儘可能的把容器執行在一個節點上面。

Swarm Cluster模式的特性
1）批量建立服務
建立容器之前先建立一個overlay的網路，用來保證在不同主機上的容器網路互通的網路模式

2）強大的叢集的容錯性
當容器副本中的其中某一個或某幾個節點當機後，cluster會根據自己的服務註冊發現機制，以及之前設定的值--replicas n，在叢集中剩餘的空閒節點上，重新拉起容器副本。整個副本遷移的過程無需人工干預，遷移後原本的叢集的load balance依舊好使！不難看出，docker service其實不僅僅是批量啟動服務這麼簡單，而是在叢集中定義了一種狀態。Cluster會持續檢測服務的健康狀態並維護叢集的高可用性。

3）服務節點的可擴充套件性
Swarm Cluster不光只是提供了優秀的高可用性，同時也提供了節點彈性擴充套件或縮減的功能。當容器組想動態擴充套件時，只需通過scale引數即可複製出新的副本出來。仔細觀察的話，可以發現所有擴充套件出來的容器副本都run在原先的節點下面，如果有需求想在每臺節點上都run一個相同的副本，方法其實很簡單，只需要在命令中將"--replicas n"更換成"--mode=global"即可！其中:
複製服務（--replicas n）將一系列複製任務分發至各節點當中，具體取決於您所需要的設定狀態，例如“--replicas 3”。
全域性服務（--mode=global）適用於叢集內全部可用節點上的服務任務，例如“--mode global”。如果在 Swarm 叢集中設有 7 臺 Docker 節點，則全部節點之上都將存在對應容器。

4)  排程機制
所謂的排程其主要功能是cluster的server端去選擇在哪個伺服器節點上建立並啟動一個容器例項的動作。它是由一個裝箱演算法和過濾器組合而成。每次通過過濾器（constraint）啟動容器的時候，swarm cluster 都會呼叫排程機制篩選出匹配約束條件的伺服器，並在這上面執行容器。

========================Swarm cluster的建立過程包含以下三個步驟===========================
1）發現Docker叢集中的各個節點，收集節點狀態、角色資訊，並監視節點狀態的變化
2）初始化內部排程（scheduler）模組
3）建立並啟動API監聽服務模組

一旦建立好這個cluster，就可以用命令docker service批量對叢集內的容器進行操作，非常方便！

在啟動容器後，docker 會根據當前每個swarm節點的負載判斷，在負載最優的節點執行這個task任務，用"docker service ls" 和"docker service ps + taskID"
可以看到任務執行在哪個節點上。容器啟動後，有時需要等待一段時間才能完成容器建立。

Swarm叢集部署例項（Swarm Cluster）

1）機器環境（均是centos7.2）

182.48.115.237      swarm的manager節點      manager-node    
182.48.115.238      swarm的node節點         node1
182.48.115.239      swarm的node節點         node2

設定主機名
在manager節點上
[root@manager-node ~]# hostnamectl --static set-hostname manager-node

在node1節點上
[root@node1 ~]# hostnamectl --static set-hostname node1

在node2節點上
[root@node2 ~]# hostnamectl --static set-hostname node2

在三臺機器上都要設定hosts，均執行如下命令：
[root@manager-node ~]# vim /etc/hosts
......
182.48.115.237 manager-node
182.48.115.238 node1
182.48.115.239 node2

關閉三臺機器上的防火牆。如果開啟防火牆，則需要在所有節點的防火牆上依次放行2377/tcp（管理埠）、7946/udp（節點間通訊埠）、4789/udp（overlay 網路埠）埠。
[root@manager-node ~]# systemctl disable firewalld.service
[root@manager-node ~]# systemctl stop firewalld.service

2）分別在manager節點和node節點上安裝docker，並下載swarm映象

[root@manager-node ~]# yum install -y docker
 
配置docker
[root@manager-node ~]# vim /etc/sysconfig/docker
......
OPTIONS='-H 0.0.0.0:2375 -H unix:///var/run/docker.sock'           //在OPTIONS引數項後面的''裡新增內容. 或者使用'-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock'
 
[root@manager-node ~]# systemctl restart docker
 
下載swarm映象
[root@manager-node ~]# docker pull swarm
[root@manager-node ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
docker.io/swarm     latest              36b1e23becab        4 months ago        15.85 MB

3）建立swarm（要儲存初始化後token，因為在節點加入時要使用token作為通訊的金鑰）

[root@manager-node ~]# docker swarm init --advertise-addr 182.48.115.237
Swarm initialized: current node (1gi8utvhu4rxy8oxar2g7h6gr) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join \
    --token SWMTKN-1-4roc8fx10cyfgj1w1td8m0pkyim08mve578wvl03eqcg5ll3ig-f0apd81qfdwv27rnx4a4y9jej \
    182.48.115.237:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

上面命令執行後，該機器自動加入到swarm叢集。這個會建立一個叢集token，獲取全球唯一的 token，作為叢集唯一標識。後續將其他節點加入叢集都會用到這個token值。
其中，--advertise-addr參數列示其它swarm中的worker節點使用此ip地址與manager聯絡。命令的輸出包含了其它節點如何加入叢集的命令。

-------------------------------------------------------------------------------------------------------------------
溫馨提示：
如果再次執行上面啟動swarm叢集的命令，會報錯說這個節點已經在叢集中了
Error response from daemon: This node is already part of a swarm. Use "docker swarm leave" to leave this swarm and join another one.

解決辦法：
[root@manager-node ~]# docker swarm leave --help           //檢視幫助
[root@manager-node ~]# docker swarm leave --force
-------------------------------------------------------------------------------------------------------------------

使用docker info 或 docker node ls 檢視叢集中的相關資訊
[root@manager-node ~]# docker info
.......
Swarm: active
 NodeID: 1gi8utvhu4rxy8oxar2g7h6gr
 Is Manager: true
 ClusterID: a88a9j6nwcbn31oz6zp9oc0f7
 Managers: 1
 Nodes: 1
 Orchestration:
  Task History Retention Limit: 5
.......

[root@manager-node ~]# docker node ls                  
ID                           HOSTNAME      STATUS  AVAILABILITY  MANAGER STATUS
1gi8utvhu4rxy8oxar2g7h6gr *  manager-node  Ready   Active        Leader

注意上面node ID旁邊那個*號表示現在連線到這個節點上。

4）新增節點到swarm叢集中

在docker swarm init 完了之後，會提示如何加入新機器到叢集，如果當時沒有注意到，也可以通過下面的命令來獲知 如何加入新機器到叢集。
 
登入到node1節點上，執行前面建立swarm叢集時輸出的命令：
[root@node1 ~]# docker swarm join --token SWMTKN-1-4roc8fx10cyfgj1w1td8m0pkyim08mve578wvl03eqcg5ll3ig-f0apd81qfdwv27rnx4a4y9jej 182.48.115.237:2377
This node joined a swarm as a worker.
 
同理在node2節點上，也執行這個命令
[root@node2 ~]# docker swarm join --token SWMTKN-1-4roc8fx10cyfgj1w1td8m0pkyim08mve578wvl03eqcg5ll3ig-f0apd81qfdwv27rnx4a4y9jej 182.48.115.237:2377
This node joined a swarm as a worker.
 
如果想要將其他更多的節點新增到這個swarm叢集中，新增方法如上一致！
 
然後在manager-node管理節點上看一下叢集節點的狀態：
[root@manager-node ~]# docker node ls
ID                           HOSTNAME      STATUS  AVAILABILITY  MANAGER STATUS
1gi8utvhu4rxy8oxar2g7h6gr *  manager-node  Ready   Active        Leader
ei53e7o7jf0g36329r3szu4fi    node1         Ready   Active       
f1obgtudnykg51xzyj5fs1aev    node2         Ready   Active

--------------------------------------------------------------------------------------------------------------------
溫馨提示：更改節點的availablity狀態
swarm叢集中node的availability狀態可以為 active或者drain，其中：
active狀態下，node可以接受來自manager節點的任務分派；
drain狀態下，node節點會結束task，且不再接受來自manager節點的任務分派（也就是下線節點）。

[root@manager-node ~]# docker node update --availability drain node1    //將node1節點下線。如果要刪除node1節點，命令是"docker node rm --force node1"
[root@manager-node ~]# docker node ls
ID                           HOSTNAME      STATUS  AVAILABILITY  MANAGER STATUS
1gi8utvhu4rxy8oxar2g7h6gr *  manager-node  Ready   Active        Leader
ei53e7o7jf0g36329r3szu4fi    node1         Ready   drain       
f1obgtudnykg51xzyj5fs1aev    node2         Ready   Active

如上，當node1的狀態改為drain後，那麼該節點就不會接受task任務分發，就算之前已經接受的任務也會轉移到別的節點上。

再次修改為active狀態（及將下線的節點再次上線）
[root@manager-node ~]# docker node update --availability active node1

5）在Swarm中部署服務（這裡以nginx服務為例）

Docker 1.12版本提供服務的Scaling、health check、滾動升級等功能，並提供了內建的dns、vip機制，實現service的服務發現和負載均衡能力。

在啟動容器之前，先來建立一個覆蓋網路，用來保證在不同主機上的容器網路互通的網路模式
[root@manager-node ~]# docker network create -d overlay ngx_net
[root@manager-node ~]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
8bbd1b7302a3        bridge              bridge              local             
9e637a97a3b9        docker_gwbridge     bridge              local             
b5a41c8c71e7        host                host                local             
1x45zepuysip        ingress             overlay             swarm             
3ye6vfp996i6        ngx_net             overlay             swarm             
0808a5c72a0a        none                null                local
  
在manager-node節點上使用上面這個覆蓋網路建立nginx服務：
其中，--replicas 引數指定服務由幾個例項組成。
注意：不需要提前在節點上下載nginx映象，這個命令執行後會自動下載這個容器映象（比如此處建立tomcat容器，就將下面命令中的映象改為tomcat映象）。
[root@manager-node ~]# docker service create --replicas 1 --network ngx_net --name my-test -p 80:80 nginx
  
就建立了一個具有一個副本（--replicas 1 ）的nginx服務，使用映象nginx
  
使用 docker service ls 檢視正在執行服務的列表
[root@manager-node ~]# docker service ls
ID            NAME     REPLICAS  IMAGE            COMMAND
0jb5eebo8j9q  my-test  1/1       nginx
  
查詢Swarm中服務的資訊
-pretty 使命令輸出格式化為可讀的格式，不加 --pretty 可以輸出更詳細的資訊：
[root@manager-node ~]# docker service inspect --pretty my-test
ID:   0jb5eebo8j9qb1zc795vx3py3
Name:   my-test
Mode:   Replicated
 Replicas:  1
Placement:
UpdateConfig:
 Parallelism: 1
 On failure:  pause
ContainerSpec:
 Image:   nginx
Resources:
Networks: 3ye6vfp996i6eq17tue0c2jv9
Ports:
 Protocol = tcp
 TargetPort = 80
 PublishedPort = 80
  
 查詢到哪個節點正在執行該服務。如下該容器被排程到manager-node節點上啟動了，然後訪問http://182.48.115.237即可訪問這個容器應用（如果排程到其他節點，訪問也是如此）
 [root@manager-node ~]# docker service ps my-test
ID                         NAME       IMAGE            NODE          DESIRED STATE  CURRENT STATE          ERROR
2m8qqpoa0dpeua5jbgz1infuy  my-test.1  nginx  manager-node  Running        Running 3 minutes ago
  
注意，如果上面命令執行後，上面的 STATE 欄位中剛開始的服務狀態為 Preparing，需要等一會才能變為 Running 狀態，其中最費時間的應該是下載映象的過程。
  
  
有上面命令可知，該服務在manager-node節點上執行。登陸該節點，可以檢視到nginx容器在執行中
[root@manager-node ~]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS               NAMES
1ea1d72007da        nginx:latest   "nginx -g 'daemon off"   4 minutes ago       Up 4 minutes        80/tcp              my-test.1.2m8qqpoa0dpeua5jbgz1infuy
  
-----------------------------------------------------------在Swarm中動態擴充套件服務（scale）-----------------------------------------------------------
當然，如果只是通過service啟動容器，swarm也算不上什麼新鮮東西了。Service還提供了複製（類似kubernetes裡的副本）功能。可以通過 docker service scale 命令來設定服務中容器的副本數：
  
比如將上面的my-test容器動態擴充套件到5個，命令如下：
[root@manager-node ~]# docker service scale my-test=5
  
和建立服務一樣，增加scale數之後，將會建立新的容器，這些新啟動的容器也會經歷從準備到執行的過程，過一分鐘左右，服務應該就會啟動完成，這時候可以再來看一下 nginx 服務中的容器
[root@manager-node ~]# docker service ps my-test
ID                         NAME       IMAGE            NODE          DESIRED STATE  CURRENT STATE          ERROR
2m8qqpoa0dpeua5jbgz1infuy  my-test.1  nginx  manager-node  Running        Running 9 minutes ago
aqko8yhmdj53gmzs8gqhoylc2  my-test.2  nginx  node2         Running        Running 2 minutes ago
erqk394hd4ay7nfwgaz4zp3s0  my-test.3  nginx  node1         Running        Running 2 minutes ago
2dslg6w16wzcgboa2hxw1c6k1  my-test.4  nginx  node1         Running        Running 2 minutes ago
bmyddndlx6xi18hx4yinpakf3  my-test.5  nginx  manager-node  Running        Running 2 minutes ago
  
可以看到，之前my-test容器只在manager-node節點上有一個例項，而現在又增加了4個例項。
這5個副本的my-test容器分別執行在這三個節點上，登陸這三個節點，就會發現已經存在執行著的my-test容器。
  
-----------------------------------------------------------------------------------------------------
特別需要清楚的一點：
如果一個節點當機了（即該節點就會從swarm叢集中被踢出），則Docker應該會將在該節點執行的容器，排程到其他節點，以滿足指定數量的副本保持執行狀態。
  
比如：
將node1當機後或將node1的docker服務關閉，那麼它上面的task例項就會轉移到別的節點上。當node1節點恢復後，它轉移出去的task例項不會主動轉移回來，
只能等別的節點出現故障後轉移task例項到它的上面。使用命令"docker node ls"，發現node1節點已不在swarm叢集中了。
  
然後過一會查詢服務的狀態列表
[root@manager-node ~]# docker service ps my-test
ID                         NAME           IMAGE            NODE          DESIRED STATE  CURRENT STATE           ERROR
2m8qqpoa0dpeua5jbgz1infuy  my-test.1      docker.io/nginx  manager-node  Running        Running 33 minutes ago
aqko8yhmdj53gmzs8gqhoylc2  my-test.2      docker.io/nginx  node2         Running        Running 26 minutes ago
di99oj7l9x6firw1ai25sewwc  my-test.3      docker.io/nginx  node2         Running        Running 6 minutes ago 
erqk394hd4ay7nfwgaz4zp3s0   \_ my-test.3  docker.io/nginx  node1         Shutdown       Complete 5 minutes ago
aibl3u3pph3fartub0mhwxvzr  my-test.4      docker.io/nginx  node2         Running        Running 6 minutes ago 
2dslg6w16wzcgboa2hxw1c6k1   \_ my-test.4  docker.io/nginx  node1         Shutdown       Complete 5 minutes ago
bmyddndlx6xi18hx4yinpakf3  my-test.5      docker.io/nginx  manager-node  Running        Running 26 minutes ago
  
發現，node1節點出現故障後，它上面之前的兩個task任務已經轉移到node2節點上了。
登陸到node2節點上，可以看到這兩個執行的task任務。當訪問182.48.115.239節點的80埠，swarm的負載均衡會把請求路由到一個任意節點的可用的容器上。
[root@node2 ~]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS               NAMES
216abf6bebea        docker.io/nginx:latest   "nginx -g 'daemon off"   7 minutes ago       Up 7 minutes        80/tcp              my-test.3.di99oj7l9x6firw1ai25sewwc
1afd12cc9140        docker.io/nginx:latest   "nginx -g 'daemon off"   7 minutes ago       Up 7 minutes        80/tcp              my-test.4.aibl3u3pph3fartub0mhwxvzr
cc90da57c25e        docker.io/nginx:latest   "nginx -g 'daemon off"   27 minutes ago      Up 27 minutes       80/tcp              my-test.2.aqko8yhmdj53gmzs8gqhoylc2
  
再次在node2節點上將從node1上轉移過來的兩個task關閉
[root@node2 ~]# docker stop my-test.3.di99oj7l9x6firw1ai25sewwc my-test.4.aibl3u3pph3fartub0mhwxvzr
my-test.3.di99oj7l9x6firw1ai25sewwc
my-test.4.aibl3u3pph3fartub0mhwxvzr
  
再次查詢服務的狀態列表，發現這兩個task又轉移到node1上了（即在swarm cluster叢集中啟動的容器，在worker node節點上刪除或停用後，該容器會自動轉移到其他的worker node節點上）
[root@manager-node ~]# docker service ps my-test
ID                         NAME           IMAGE            NODE          DESIRED STATE  CURRENT STATE                ERROR
2m8qqpoa0dpeua5jbgz1infuy  my-test.1      docker.io/nginx  manager-node  Running        Running 38 minutes ago     
aqko8yhmdj53gmzs8gqhoylc2  my-test.2      docker.io/nginx  node2         Running        Running 31 minutes ago     
7dhmc63rk0bc8ngt59ix38l44  my-test.3      docker.io/nginx  node1         Running        Running about a minute ago 
di99oj7l9x6firw1ai25sewwc   \_ my-test.3  docker.io/nginx  node2         Shutdown       Complete about a minute ago
erqk394hd4ay7nfwgaz4zp3s0   \_ my-test.3  docker.io/nginx  node1         Shutdown       Complete 9 minutes ago     
607tyjv6foc0ztjjvdo3l3lge  my-test.4      docker.io/nginx  node1         Running        Running about a minute ago 
aibl3u3pph3fartub0mhwxvzr   \_ my-test.4  docker.io/nginx  node2         Shutdown       Complete about a minute ago
2dslg6w16wzcgboa2hxw1c6k1   \_ my-test.4  docker.io/nginx  node1         Shutdown       Complete 9 minutes ago     
bmyddndlx6xi18hx4yinpakf3  my-test.5      docker.io/nginx  manager-node  Running        Running 31 minutes ago
 
----------------------------------------------------------------------------------------------------
同理，swarm還可以縮容，如下，將my-test容器變為1個。
[root@manager-node ~]# docker service scale my-test=1
[root@manager-node ~]# docker service ps my-test
ID                         NAME       IMAGE            NODE          DESIRED STATE  CURRENT STATE          ERROR
2m8qqpoa0dpeuasdfsdfdfsdf  my-test.1  nginx  manager-node  Running        Running 3 minutes ago
 
登入node2節點，使用docker ps檢視，會發現容器被stop而非rm
 
---------------------------------------------------------------------------------------------------
刪除容器服務
[root@manager-node ~]# docker service --help       //檢視幫助
[root@manager-node ~]# docker service rm my-test    //這樣就會把所有節點上的所有容器（task任務例項）全部刪除了
my-nginx
  
---------------------------------------------------------------------------------------------------
除了上面使用scale進行容器的擴容或縮容之外，還可以使用docker service update 命令。 可對 服務的啟動 引數 進行 更新/修改。
[root@manager-node ~]# docker service update --replicas 3 my-test
my-test
 
更新完畢以後，可以檢視到REPLICAS已經變成3/3
[root@manager-node ~]# docker service ls
ID            NAME          REPLICAS  IMAGE      COMMAND  
d7cygmer0yy5  my-test       3/3       nginx     /bin/bash
 
[root@manager-node ~]# docker service ps my-test
ID                         NAME             IMAGE  NODE          DESIRED STATE  CURRENT STATE            ERROR
ddkidkz0jgor751ffst55kvx4  my-test.1      nginx  node1         Running          Preparing 4 seconds ago 
1aucul1b3qwlmu6ocu312nyst   \_ my-test.1  nginx  manager-node  Shutdown       Complete 5 seconds ago  
4w9xof53f0falej9nqgq064jz   \_ my-test.1  nginx  manager-node  Shutdown       Complete 19 seconds ago 
0e9szyfbimaow9tffxfeymci2   \_ my-test.1  nginx  manager-node  Shutdown       Complete 30 seconds ago 
27aqnlclp0capnp1us1wuiaxm  my-test.2      nginx  manager-node  Running        Preparing 1 seconds ago 
7dmmmle29uuiz8ey3tq06ebb8  my-test.3      nginx  manager-node  Running        Preparing 1 seconds ago
 
docker service update 命令，也可用於直接 升級 映象等。
[root@manager-node ~]# docker service update --image nginx:new my-test
 
[root@manager-node ~]# docker service ls
ID            NAME          REPLICAS  IMAGE         COMMAND  
d7cygmer0yy5  my-test       3/3       nginx:new     /bin/bash

6）Swarm中使用Volume（掛在目錄:  --mount type=volume  或者 --mount type=bind ）

檢視docker volume的幫助資訊
[root@manager-node ~]# docker volume --help
    
Usage:  docker volume COMMAND
    
Manage Docker volumes
    
Options:
      --help   Print usage
    
Commands:
  create      Create a volume
  inspect     Display detailed information on one or more volumes
  ls          List volumes
  rm          Remove one or more volumes
    
Run 'docker volume COMMAND --help' for more information on a command.
    
[root@manager-node ~]# docker volume create --name myvolume
myvolume
   
[root@manager-node ~]# docker volume ls
DRIVER              VOLUME NAME
local               11b68dce3fff0d57172e18bc4e4cfc252b984354485d747bf24abc9b11688171
local               1cd106ed7416f52d6c77ed19ee7e954df4fa810493bb7e6cf01775da8f9c475f
local               myvolume
   
引數src寫成source也可以；dst表示容器內的路徑，也可以寫成destination
[root@manager-node ~]# docker service create --replicas 2 --network ngx_net --mount type=volume,src=myvolume,dst=/wangshibo --name test-nginx nginx

====================================================
溫馨提示:
必須確保各節點伺服器的selinux永久關閉,即:
[root@manager-node ~]# cat /etc/sysconfig/selinux
SELINUX=disabled
[root@manager-node ~]# reboot
[root@manager-node ~]# getenforce
Disabled
 
必須是永久關閉,臨時關閉可能都不行,否則上面建立命令後,可能會出現如下報錯:
[root@manager-node ~]# docker service ps test-nginx
"SELinux relabeling of is not allowed"
====================================================
 
[root@manager-node ~]# docker service ls
ID            NAME        REPLICAS  IMAGE   COMMAND
8s9m0okwlhvl  test-nginx  2/2       nginx
[root@manager-node ~]# docker service ps test-nginx
ID                         NAME          IMAGE  NODE   DESIRED STATE  CURRENT STATE           ERROR
32bqjjhqcl1k5z74ijjli35z3  test-nginx.1  nginx  node1  Running        Running 23 seconds ago
48xoypunb3g401jkn690lx7xt  test-nginx.2  nginx  node2  Running        Running 23 seconds ago
    
登入node1節點的test-nginx容器檢視
[root@node1 ~]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
d471569629b2        nginx:latest        "nginx -g 'daemon off"   2 minutes ago       Up 2 minutes        80/tcp              test-nginx.1.32bqjjhqcl1k5z74ijjli35z3
    
[root@node1 ~]# docker exec -ti d471569629b2 /bin/bash
root@d471569629b2:/# cd /wangshibo/
root@d471569629b2:/wangshibo# ls
root@d471569629b2:/wangshibo# echo "ahahha" > test
root@d471569629b2:/wangshibo# ls
test
    
[root@node1 ~]# docker volume inspect myvolume
[
    {
        "Name": "myvolume",
        "Driver": "local",
        "Mountpoint": "/var/lib/docker/volumes/myvolume/_data",
        "Labels": null,
        "Scope": "local"
    }
]
[root@node1 ~]# cd /var/lib/docker/volumes/myvolume/_data/
[root@node1 _data]# ls
test
[root@node1 _data]# cat test
ahahha
[root@node1 _data]# echo "12313" > 123
[root@node1 _data]# ls
123  test
    
root@d471569629b2:/wangshibo# ls
123  test
root@d471569629b2:/wangshibo# cat test
ahahha
    
需要注意:
1) 掛載volume後,宿主機和容器之間就可以通過volume進行雙向實時同步.
2) 如果replicas是多份,則每個節點宿主機上都會有一個volume路徑,即每個節點宿主機的/var/lib/docker/volumes/myvolume/_data和分佈到它上面的
    容器裡的/wangshibo進行實時同步.
 
============================================================
第二種方法：
  
命令格式：
docker service create --mount type=bind,source=/host_data/,destination=/container_data/
其中，引數target表示容器裡面的路徑，source表示本地硬碟路徑
  
[root@manager-node ~]# docker service create --replicas 1 --mount type=bind,source=/opt/web/,destination=/usr/share/nginx/html/ --network ngx_net --name haha-nginx -p 8880:80 nginx
[root@manager-node ~]# docker service ls
ID            NAME        REPLICAS  IMAGE  COMMAND
9t9d58b5bq4u  haha-nginx  1/1       nginx
[root@manager-node ~]# docker service ps haha-nginx
ID                         NAME              IMAGE  NODE          DESIRED STATE  CURRENT STATE            ERROR
bji4f5tikhvm7nf5ief3jk2is  haha-nginx.1      nginx  node2         Running        Running 18 seconds ago
  
登入node2節點，在掛載目錄/opt/web下寫測試資料
[root@node2 _data]# cd /opt/web/
[root@node2 web]# ls
[root@node2 web]# cat wang.html
sdfasdf
  
登入容器檢視，發現已經實現資料同步
[root@node2 ~]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
3618e3d1b966        nginx:latest        "nginx -g 'daemon off"   28 seconds ago      Up 24 seconds       80/tcp              haha-nginx.1.bji4f5tikhvm7nf5ief3jk2is
[root@node2 ~]# docker exec -ti 3618e3d1b966 /bin/bash
root@3618e3d1b966:/# cd /usr/share/nginx/html
root@3618e3d1b966:/usr/share/nginx/html# ls
wang.html
root@3618e3d1b966:/usr/share/nginx/html# cat wang.html
sdfasdf
root@3618e3d1b966:/usr/share/nginx/html# touch test
touch: cannot touch 'test': Permission denied
  
由此可見，以上設定後，在容器裡的同步目錄下沒有寫許可權，更新內容時只要放到宿主機的掛在目錄下即可！

總之，Swarm上手很簡單，Docker swarm可以非常方便的建立類似kubernetes那樣帶有副本的服務，確保一定數量的容器執行，保證服務的高可用。
然而，光從官方文件來說，功能似乎又有些簡單；

swarm、kubernetes、messos總體比較而言：
1）Swarm的優點和缺點都是使用標準的Docker介面，使用簡單，容易整合到現有系統，但是更困難支援更復雜的排程，比如以定製介面方式定義的排程。
2）Kubernetes 是自成體系的管理工具，有自己的服務發現和複製，需要對現有應用的重新設計，但是能支援失敗冗餘和擴充套件系統。
3）Mesos是低階別 battle-hardened排程器，支援幾種容器管理框架如Marathon, Kubernetes, and Swarm，現在Kubernetes和Mesos穩定性超過Swarm，在擴充套件性方面，Mesos已經被證明支援超大規模的系統，比如數百數千臺主機，但是，如果你需要小的叢集，比如少於一打數量的節點伺服器數量，Mesos也許過於複雜了。

相關文章