docker容器網路bridge

頂級飲水機管理員發表於2021-08-10
Docker

我們知道docker利用linux核心特性namespace實現了網路的隔離，讓每個容器都處於自己的小世界裡面，當這個小世界需要與外界（宿主機或其他容器）通訊的時候docker的網路就發揮作用了，這篇小作文我們一起來學習一下docker容器網路基礎，這裡我們會著重學習bridge模式的工作原理。

docker提供了三個開箱即用的網路模式（驅動）bridge、host 和 none

我們通過ls看一下相關資訊：

[root@bogon /]# docker network ls 
NETWORK ID     NAME      DRIVER    SCOPE
f33b32dd8351   bridge    bridge    local
2c102587be2f   host      host      local
04a61e996030   none      null      local

一、host與none模式

在host模式下，容器共享主機的網路名稱空間，直接將其暴露給外界。同時主機名與宿主機一致。

[root@bogon proc]# docker run -it --name busybox_host --net host busybox
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq qlen 1000
    link/ether 00:0c:29:45:89:e6 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.123/24 brd 192.168.1.255 scope global noprefixroute ens192
       valid_lft forever preferred_lft forever
    inet6 fe80::806e:979a:d38f:a85b/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

/ # hostname
localhost

host模式主要用於對網路效能要求高、追求傳輸效率的服務，但是需要注意的是會佔用主機的埠，多個容器工作可能需要處理衝突。

none模式下，不配置網路，並且無法訪問外部網路以及其他容器，對於不需要網路訪問的容器很有用，比如批處理應用，密碼管理等等。

[root@bogon proc]# docker run -it --name busybox_none --net none busybox
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever

二、bridge模式及其工作原理

1.預設和自定義bridge網路

bridge是docker預設網路模式，docker安裝後會選擇一個私有網段作為bridge的子網，從下面config中可以看到我們的16位掩碼的子網是172.17.0.0/16，這樣在我們建立容器時預設會將容器網路加入到這個子網中。

[root@bogon proc]# docker inspect bridge
[
    {
        "Name": "bridge",
        "Id": "f33b32dd835100abc5c94855d3676b082ef6f0ebea10847425fbe6187d263823",
        "Created": "2021-08-09T21:41:49.031849089-04:00",
        "Scope": "local",
        "Driver": "bridge",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": null,
            "Config": [
                {
                    "Subnet": "172.17.0.0/16",
                    "Gateway": "172.17.0.1"
                }
            ]
        },
        "Internal": false,
        "Attachable": false,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": {},
        "Options": {
            "com.docker.network.bridge.default_bridge": "true",
            "com.docker.network.bridge.enable_icc": "true",
            "com.docker.network.bridge.enable_ip_masquerade": "true",
            "com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
            "com.docker.network.bridge.name": "docker0",
            "com.docker.network.driver.mtu": "1500"
        },
        "Labels": {}
    }
]

上面Containers欄位中併為包含容器，現在我們建立一個busybox工具箱容器,通過inspect分別檢視bridge和容器資訊，顯然172.17.0.1在子網172.17.0.0/16下。

[root@bogon proc]# docker run -d -t --name busybox busybox
[root@bogon proc]# docker inspect bridge
...

        "Containers": {
            "b6f1e0103c1b44f76cd31fb75a3d9537f3292e5390e4441db2376e7e13d31ed2": {
                "Name": "busybox",
                "EndpointID": "caac0bd4feedd0ac483fa44155c46e6c07d72e1d6281ca43599d5e72018f8066",
                "MacAddress": "02:42:ac:11:00:02",
                "IPv4Address": "172.17.0.2/16",
                "IPv6Address": ""
            }
...

[root@bogon proc]# docker inspect b6f
...
          "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "f33b32dd835100abc5c94855d3676b082ef6f0ebea10847425fbe6187d263823",
                    "EndpointID": "caac0bd4feedd0ac483fa44155c46e6c07d72e1d6281ca43599d5e72018f8066",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.2",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:02",
                    "DriverOpts": null
                }
            }
...

從上面我們可以看到使用預設bridge模式非常簡單，當然在生產中我們一般會手動建立一個bridge，然後將容器加入到這個網路，以防不必要的容器被加入到生產子網中。

[root@bogon proc]# docker network create --driver bridge --subnet 172.0.0.0/24 --gateway 172.0.0.1 newbridge
1b1bc5ffe581472c098418ddaafc38fbdc101ef55d840d4be55b882242bca552
[root@bogon proc]# docker network ls 
NETWORK ID     NAME        DRIVER    SCOPE
f33b32dd8351   bridge      bridge    local
2c102587be2f   host        host      local
1b1bc5ffe581   newbridge   bridge    local
04a61e996030   none        null      local

--dirver、--subnet、--gateway分別指定我們的驅動、子網和閘道器

我們已經建立好了一個新的bridge網路，這樣我們在建立容器的時候使用--net引數就可以加入到這個網路。

[root@bogon proc]# docker run -d -t --net newbridge --name busybox_newbridge busybox

以上我們大概瞭解了建立一個bridge網路和使用，但是我們不瞭解其工作原理，這不太棒。

2.bridge網路工作原理

我們從下面這張圖展開bridge網路工作原理

image-20210810154854211

我們安裝Docker後守護程式將建立一個linux虛擬乙太網橋docker0，它會在連線到其上的所有介面之間轉發資料包，預設情況下主機上的所有容器都連線到這個內部橋接器，它會將一個介面（虛擬裝置對veth pair）作為容器的eth0介面和主機名稱空間中的另一個介面。這樣容器就獲得了私有 IP 地址分配。同時為了防止本地網路上的 ARP 衝突，Docker 守護程式從分配的 IP 地址上生成一個隨機 MAC 地址。這樣一來容器就和網橋連線起來了，然後通過iptables NAT規則和主機上eth0網路卡交換資料。

veth pair我們可以理解為一條虛擬網路電纜，其兩端都有一個虛擬網路介面裝置。

接下來我們從實際中來看一看。使用brctl show來檢視linux網橋和介面。

[root@bogon proc]# brctl show
bridge name	     bridge id		     STP enabled	   interfaces
br-1b1bc5ffe581	8000.024297a8cc80	     no		       vethe19101d
docker0		    8000.02426da67767	     no		       veth53e494e

可以看到我們預設的docker0和手動建立的newbridge對應的br-1b這兩個網橋上分別接了vethe19101d和veth53e494e，為了方便下面咋們只關注docker0網橋。

同樣我們也可以通過ip addr來檢視介面資訊，veth53e494e所屬的網橋正是docker0

image-20210810152747249

我們進入busybox容器看看，同樣的存在介面eth0@if19

/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
18: eth0@if19: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

如此一來我們的虛擬裝置對veth pair就成了，網橋與容器的通訊水到渠成。最後容器怎麼通過網橋與外界通訊呢？

我們來檢視iptables nat規則：

[root@bogon proc]# iptables -t nat -vnL
...
Chain POSTROUTING (policy ACCEPT 184 packets, 14201 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MASQUERADE  all  --  *      !docker0  172.17.0.0/16        0.0.0.0/0           
    0     0 MASQUERADE  all  --  *      !br-1b1bc5ffe581  172.0.0.0/24         0.0.0.0/0
...

POSTROUTING鏈會將所有來自172.17.0.0/16、172.0.0.0/24的流量偽裝為宿主機網路卡發出。即容器的流量通過NAT後服務端並沒有感知，只知道是源自宿主機網路卡的流量，相當於SNAT。

我們在看看DNAT，這裡我們啟動一個埠對映容器

[root@bogon proc]# docker run -d -p 8888:80 httpd

此時通過tcp/8888埠的流量已經被轉發到了172.17.0.3:80，這也是為什麼在使用docker是需要開啟net.ipv4.ip_forward轉發。

Chain DOCKER (2 references)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 RETURN     all  --  docker0 *       0.0.0.0/0            0.0.0.0/0           
    0     0 RETURN     all  --  br-1b1bc5ffe581 *       0.0.0.0/0            0.0.0.0/0           
    0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:8888 to:172.17.0.3:80

bridge網路模式大致到這裡。容器的實現有太多linux細節，博大精深，關於網路部分水更深，本文只是冰山一角，有興趣的同志可以通過搜尋引擎遨遊知識海洋。歡迎關注檢視後面關於容器網路驅動Overlay、macvlan的小作文。

我是頂級飲水機管理員，部落格iqsing.github.io

您可以隨意轉載、修改、釋出本文章，無需經過本人同意。

NEXT

  • docker容器網路Overlay
  • docker容器網路macvlan

相關文章