Docker 新網路 overlay 網路

丶小炒肉發表於2016-06-01

Overlay網路是指在不改變現有網路基礎設施的前提下,通過某種約定通訊協議,把二層報文封裝在IP報文之上的新的資料格式。

 

這樣不但能夠充分利用成熟的IP路由協議程式資料分發,而且在Overlay技術中採用擴充套件的隔離標識位數,能夠突破VLAN的4000數量限制,

 

支援高達16M的使用者,並在必要時可將廣播流量轉化為組播流量,避免廣播資料氾濫。

 

因此,Overlay網路實際上是目前最主流的容器跨節點資料傳輸和路由方案。

 

Overlay網路的實現方式可以有許多種,其中IETF(國際網際網路工程任務組)制定了三種Overlay的實現標準

 

1. 虛擬可擴充套件LAN(VXLAN)

 

2. 採用通用路由封裝的網路虛擬化(NVGRE)

 

3. 無狀態傳輸協議(SST)

 

Docker內建的Overlay網路是採用IETF標準的VXLAN方式,並且是VXLAN中普遍認為最適合大規模的雲端計算虛擬化環境的SDN Controller模式。

 

 

Docker的Overlay網路功能與其Swarm叢集是緊密整合的,因此為了使用Docker的內建跨節點通訊功能,最簡單的方式就是採納Swarm作為叢集的解決方案。

 

在 docker 1.9 中,要使用 Swarm + overlay 網路架構,還需要以下幾個條件:

 

1. 所有Swarm節點的Linux系統核心版本不低於3.16  (在 docker 1.10 後面版本中,已經支援核心3.10,升級核心實在是一個麻煩事情)

 

2. 需要一個額外的配置儲存服務,例如Consul、Etcd或ZooKeeper

 

3. 所有的節點都能夠正常連線到配置儲存服務的IP和埠

 

4. 所有節點執行的Docker後臺程式需要使用『--cluster-store』和『--cluster-advertise』引數指定所使用的配置儲存服務地址

 

 

-------------------------------------------------------------------------------------------

伺服器3臺 如下:

 

10.6.17.12

 

10.6.17.13

 

10.6.17.14

 

 

------------------------------------------------------------------------------------------

docker version

Client:

 Version:      1.10.0-rc1

 API version:  1.22

 Go version:   go1.5.3

 Git commit:   677c593

 Built:        Fri Jan 15 20:50:15 2016

 OS/Arch:      linux/amd64

 

------------------------------------------------------------------------------------------

首先要做的是 修改主機名

 

10.6.17.12 管理節點可不修改

 

 

10.6.17.13  = hostnamectl --static set-hostname swarm-node-1

 

10.6.17.14  = hostnamectl --static set-hostname swarm-node-2

 

 

------------------------------------------------------------------------------------------

 

 

 

上面的4個條件中,第一個條件在docker 1.10 RC 版本中已經預設就滿足了。

 

下面我們來建立第二個條件中的 配置儲存服務,配置儲存服務按照大家的使用習慣,自己選擇一個配置儲存。

 

由於我們java 專案一直在使用 ZooKeeper ,所以這邊選擇 ZooKeeper 作為儲存服務,為了方便測試,這邊只配置 單機的 ZooKeeper 服務

 

 

-------------------------------------------------------------------------------------------

 

pull 一個 centos 的映象下來

 

[10.6.17.12]# docker pull centos

 

 

以下是 zookeeper 的 Dockerfile

 

-------------------------------------------------------------------------------------------

FROM centos

 

MAINTAINER jicki@qq.com 

USER root

 

# 新增erepo 源   

RUN rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org && rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm

 

RUN yum -y install --enablerepo base wget java tar.x86_64 && mkdir -p /opt/local && wget -q -O - http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz | tar -xzf - -C /opt/local/ && mv /opt/local/zookeeper-3.4.6 /opt/local/zookeeper && cp /opt/local/zookeeper/conf/zoo_sample.cfg /opt/local/zookeeper/conf/zoo.cfg && mkdir -p /opt/local/zookeeper/data && mkdir -p /opt/local/zookeeper/log

 

ENV JAVA_HOME /usr/

 

ADD start.sh /start.sh

 

WORKDIR /opt/local/zookeeper

 

#修改配置檔案

RUN sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/opt\/local\/zookeeper\/data/g' /opt/local/zookeeper/conf/zoo.cfg

 

ENTRYPOINT ["/start.sh"]

 

# 保證前臺執行  

CMD ["start-foreground"]

-------------------------------------------------------------------------------------------

 

 

[10.6.17.12]# docker build -t="zookeeper" .

 

[10.6.17.12]# docker run --restart=always -d -v /opt/data/zookeeper/data:/opt/local/zookeeper/data -v /opt/data/zookeeper/log:/opt/local/zookeeper/log -p 2181:2181 zookeeper

 

 

zookeeper 建立完以後,需要修改每個主機Docker後臺程式啟動指令碼里的變數內容,並配置swarm節點.

 

[10.6.17.12]# sed -i 's/-H fd:\/\//-H tcp:\/\/10.6.17.12:2375 --cluster-store=zk:\/\/10.6.17.12:2181/store --cluster-advertise=10.6.17.12:2376/g' /lib/systemd/system/docker.service

 

[10.6.17.13]# sed -i 's/-H fd:\/\//-H tcp:\/\/10.6.17.13:2375 --cluster-store=zk:\/\/10.6.17.12:2181/store --cluster-advertise=10.6.17.13:2376/g' /lib/systemd/system/docker.service

 

[10.6.17.14]# sed -i 's/-H fd:\/\//-H tcp:\/\/10.6.17.14:2375 --cluster-store=zk:\/\/10.6.17.12:2181/store --cluster-advertise=10.6.17.14:2376/g' /lib/systemd/system/docker.service

 

 

修改完 變數內容,執行 

 

systemctl daemon-reload   

 

 

並 重啟 docker   

 

systemctl restart docker.service

 

 

由於修改和重啟Docker後臺程式本身是比較麻煩的事情,如果使用者業務可能會使用到跨節點網路通訊,建議在架設Docker叢集的時候就事先準備配置儲存服務,然後直接在新增主機節點時就可以將相應引數加入到Docker的啟動配置中了。

 

 

接下來建立Overlay網路,我們要建的這個網路是橫跨所有節點的,也就是說在每個節點都應該有一個名稱、ID和屬性完全一致的網路,它們之間還要相互認可對方為自己在不同節點的副本。如何實現這種效果呢?目前的Docker network命令還無法做到,因此只能藉助於Swarm,下面我們建立Swarm 群集

 

 

首先我們選擇 10.6.17.12 這臺機器做為 master 節點 建立 swarm:

 

[10.6.17.12]# docker -H tcp://10.6.17.12:2375 run --name master --restart=always -d -p 8888:2375 swarm manage zk://10.6.17.12:2181/swarm

 

 

在其他兩臺Docker業務容器執行的節點上執行Swarm Agent服務:

 

[10.6.17.13]# docker -H tcp://10.6.17.13:2375 run --name node_1 --restart=always -d swarm join --addr=10.6.17.13:2375 zk://10.6.17.12:2181/swarm

 

[10.6.17.14]# docker -H tcp://10.6.17.14:2375 run --name node_2 --restart=always -d swarm join --addr=10.6.17.14:2375 zk://10.6.17.12:2181/swarm

 

 

檢視所有節點上的資訊:

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 ps -a

 

CONTAINER ID        IMAGE               COMMAND                  CREATED                  STATUS                  PORTS               NAMES

5fc7753caa2c        swarm               "/swarm join --addr=1"   Less than a second ago   Up Less than a second   2375/tcp            swarm-node-1/node_1

330b964ba732        swarm               "/swarm join --addr=1"   Less than a second ago   Up Less than a second   2375/tcp            swarm-node-2/node_2

 

 

至此 swarm 叢集已經搭建完成了。

 

Swarm提供與Docker服務完全相容的API,因此可以直接使用docker命令進行操作。

 

注意上面命令中建立Master服務時指定的外部埠號8888,它就是用來連線Swarm服務的地址。

 

 

現在我們就可以建立一個Overlay型別的網路了:

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 network create --driver=overlay ovr0

 

這個命令被髮送給了Swarm服務,Swarm會在所有Agent節點上新增一個屬性完全相同的Overlay型別網路。

 

在每個節點上面 使用 docker network ls  可以檢視 到已經有一個  ovr0  的 overlay 網路

 

 

在Swarm的網路裡面,每個網路的名字都會加上節點名稱作為字首, 

如: swarm-node-1/node_1    

   swarm-node-2/node_2

 

但Overlay型別的網路是沒有這個字首的,這也說明了這類網路是被所有節點共有的。

 

 

下面我們在Swarm中建立兩個連線到Overlay網路的容器,並用Swarm的過濾器限制這兩個容器分別執行在不同的節點上。

 

-------------------------------------------------------------------------------------------

 

FROM centos

 

MAINTAINER jicki@qq.com

 

RUN yum -y update; yum clean all

RUN yum -y install epel-release; yum clean all

RUN yum -y install wget; yum clean all

ADD ./nginx.sh /root/

RUN /bin/bash /root/nginx.sh

RUN rm -rf /root/nginx.sh

RUN rm -rf /opt/local/nginx/conf/nginx.conf

ADD ./nginx.conf /opt/local/nginx/conf/

RUN mkdir -p /opt/local/nginx/conf/vhost

ADD ./docker.conf /opt/local/nginx/conf/vhost

RUN chown -R upload:upload /opt/htdocs/web

EXPOSE 80 443

CMD ["/opt/local/nginx/sbin/nginx", "-g", "daemon off;"]

 

-------------------------------------------------------------------------------------------

 

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 run --name nginx_web_1 --net ovr0 --env="constraint:node==swarm-node-1" -d -v /opt/data/nginx/logs:/opt/local/nginx/logs nginx

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 run --name nginx_web_2 --net ovr0 --env="constraint:node==swarm-node-2" -d -v /opt/data/nginx/logs:/opt/local/nginx/logs nginx

 

 

 

建立完兩個容器以後,下面來來測試一下 ovr0 這個網路的連通性

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 exec -it nginx_web_1 ping nginx_web_2

 

PING nginx_web_2 (10.0.0.3) 56(84) bytes of data.

64 bytes from nginx_web_2.ovr0 (10.0.0.3): icmp_seq=1 ttl=64 time=0.360 ms

64 bytes from nginx_web_2.ovr0 (10.0.0.3): icmp_seq=2 ttl=64 time=0.247 ms

64 bytes from nginx_web_2.ovr0 (10.0.0.3): icmp_seq=3 ttl=64 time=0.234 ms

64 bytes from nginx_web_2.ovr0 (10.0.0.3): icmp_seq=4 ttl=64 time=0.241 ms

64 bytes from nginx_web_2.ovr0 (10.0.0.3): icmp_seq=5 ttl=64 time=0.212 ms

 

 

如上所示 我們已經在Docker的Overlay網路上成功的進行了跨節點的資料通訊。

 

 

 

測試兩個 ssh 的服務,建立兩個 容器,檢視容器所屬 IP 。

 

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 run --name ssh-1 --net ovr0 --env="constraint:node==swarm-node-1" -d -p 8001:22 ssh

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 run --name ssh-2 --net ovr0 --env="constraint:node==swarm-node-2" -d -p 8001:22 ssh

 

 

建立容器 IP 為  DHCP 分配, 按照從下向上分配, 重啟不會改變overlay 的IP 。

 

首先建立 ssh-1 分配IP為 10.0.0.4    建立 ssh-2 分配IP為 10.0.0.5

 

銷燬 ssh-1 再次建立 分配IP 為 10.0.0.4 

 

銷燬 ssh-1  ssh-2  先建立 ssh-2 分配 IP 為 10.0.0.4  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

在 docker 1.10 後面的版本中 --net-alias=[]  的使用!!

 

在docker run 的時候 可指定相同的 alias ,可以實現 故障切換的效果。。

 

具體命令如:

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 run --name nginx_web_1 --net ovr0 --net-alias="nginx" --env="constraint:node==swarm-node-1" -d -v /opt/data/nginx/logs:/opt/local/nginx/logs nginx

 

[10.6.17.12]# docker -H tcp://10.6.17.12:8888 run --name nginx_web_2 --net ovr0 --net-alias="nginx" --env="constraint:node==swarm-node-2" -d -v /opt/data/nginx/logs:/opt/local/nginx/logs nginx

 

當我們進入 機器裡面的時候 使用 dig 檢視 nginx A記錄 看到的是一個,但是 一個容器 掛掉以後

A記錄會自動繫結到另外一臺機器中。

 

 

在 docker 1.11 後面的版本中 --net-alias=[] 已經支援 負載均衡。

 

當我們使用 dig 檢視 A記錄 時可以看到多個 A記錄

 

 

 

 

docker network disconnect  與  docker network connect 命令的使用! 使用這兩個命令可達到 A B 測試 以及 快速 回滾 的效果。

 

docker network connect      ---->  加入 指定網路

 

docker network disconnect   ---->  退出 指定網路

 

 

具體命令使用:

 

docker network disconnect ovr0 nginx_web_2       nginx_web_2 這個容器退出 ovr0 這個網路。

 

docker network connect ovr0 nginx_web_2          nginx_web_2 這個容器重新加入 ovr0 這個網路。

相關文章