Macvlan 網路方案實踐

米開朗基楊發表於2019-04-01
Mac

原文連結：Macvlan 網路方案實踐

通過上篇文章的學習，我們已經知道 Macvlan 四種模式的工作原理，其中最常用的就是 Bridge 模式，本文我們將通過實驗來驗證 Macvlan Bridge 模式的連通性。

Macvlan 是 linux 核心比較新的特性，可以通過以下方法判斷當前系統是否支援：

$ modprobe macvlan
$ lsmod | grep macvlan
  macvlan                19233  0
複製程式碼

如果第一個命令報錯，或者第二個命令沒有返回，則說明當前系統不支援 Macvlan，需要升級系統或者升級核心。

1. 各個 Linux 發行版對 Macvlan 的支援

Macvlan 對 Kernel 版本依賴：Linux kernel v3.9–3.19 and 4.0+。幾個重要發行版支援情況：

  • ubuntu：>= saucy(13.10)
  • RHEL(Red Hat Enterprise Linux): >= 7.0(3.10.0)
  • Fedora: >=19(3.9)
  • Debian: >=8(3.16)

各個發行版的核心都可以自行手動升級，具體操作可以參考官方提供的文件。

以上版本資訊參考了這些資料：

2. 實驗環境

後面的測試將會在以下環境進行：

OS hostname 物理網路卡 IP Gateway
CentOS 7.3 node1 ens160 192.168.179.9/16 192.168.1.1
CentOS 7.3 node2 ens160 192.168.179.10/16 192.168.1.1

我的本地作業系統為 MacOS，IP 為 10.8.0.241，閘道器為 10.8.0.1。

3. 連通性測試

下面開始對 Bridge 模式下 Macvlan 的連通性進行測試。

首先在 node1 上建立兩個 network namespace：

# 開啟混雜模式
$ ip link set ens160 promisc on

$ ip netns add ns1
$ ip netns add ns2
複製程式碼

然後建立 Macvlan 介面:

$ ip link add link ens160 mac1 type macvlan mode bridge
複製程式碼

建立的格式為 ip link add link <PARENT> <NAME> type macvlan mode <MODE>，其中 <PARENT> 是 Macvlan 介面的父介面名稱，<NAME> 是新建的 Macvlan 介面的名稱，這個名字可以任意取，<MODE> 是 Macvlan 的模式。

可以檢視建立介面的詳細資訊：

$ ip -d link show mac1

13: mac1@ens160: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT qlen 1000
    link/ether 5a:94:85:a6:96:95 brd ff:ff:ff:ff:ff:ff promiscuity 0
    macvlan  mode bridge addrgenmode eui64
複製程式碼

下面就是把建立的 Macvlan 介面放到 network namespace 中，配置好 IP 地址，然後啟用它：

$ ip link set mac1 netns ns1
$ ip netns exec ns1 ip addr add 192.168.179.12/16 dev mac1
$ ip netns exec ns1 ip link set dev mac1 up
複製程式碼

同理可以配置另外一個 Macvlan 介面：

$ ip link add link ens160 mac2 type macvlan mode bridge
$ ip link set mac2 netns ns2
$ ip netns exec ns2 ip addr add 192.168.179.13/16 dev mac2
$ ip netns exec ns2 ip link set dev mac2 up
複製程式碼

可以測試兩個 IP 的連通性：

ns1 --> ns2

$ ip netns exec ns1 ping -c 3 192.168.179.13

PING 192.168.179.13 (192.168.179.13) 56(84) bytes of data.
64 bytes from 192.168.179.13: icmp_seq=1 ttl=64 time=0.090 ms
64 bytes from 192.168.179.13: icmp_seq=2 ttl=64 time=0.061 ms

--- 192.168.179.13 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
rtt min/avg/max/mdev = 0.061/0.075/0.090/0.016 ms
複製程式碼

ns2 --> ns1

$ ip netns exec ns2 ping -c 2 192.168.179.12

PING 192.168.179.12 (192.168.179.12) 56(84) bytes of data.
64 bytes from 192.168.179.12: icmp_seq=1 ttl=64 time=0.059 ms
64 bytes from 192.168.179.12: icmp_seq=2 ttl=64 time=0.043 ms

--- 192.168.179.12 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
rtt min/avg/max/mdev = 0.043/0.051/0.059/0.008 ms
複製程式碼

ns1 --> 192.168/16

首先測試 ns1 與 node2 的連通性：

$ ip netns exec ns1 ping -c 2 192.168.179.10

PING 192.168.179.10 (192.168.179.10) 56(84) bytes of data.
64 bytes from 192.168.179.10: icmp_seq=1 ttl=64 time=0.976 ms
64 bytes from 192.168.179.10: icmp_seq=2 ttl=64 time=0.430 ms

--- 192.168.179.10 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.430/0.703/0.976/0.273 ms
複製程式碼

下面測試 ns1 與 node2 中 network namespace 的連通性。

先在 node2 中配置一個 Macvlan 介面：

[root@node2 ~]# ip link set ens160 promisc on
[root@node2 ~]# ip netns add ns1
[root@node2 ~]# ip link add link ens160 mac1 type macvlan mode bridge
[root@node2 ~]# ip link set mac1 netns ns1
[root@node2 ~]# ip netns exec ns1 ip addr add 192.168.179.14/16 dev mac1
[root@node2 ~]# ip link set dev mac1 up
複製程式碼

測試 node1 的 ns1 與 node2 的 ns1 的連通性：

[root@node1 ~]# ip netns exec ns1 ping -c 2 192.168.179.14

PING 192.168.179.14 (192.168.179.14) 56(84) bytes of data.
64 bytes from 192.168.179.14: icmp_seq=1 ttl=64 time=0.976 ms
64 bytes from 192.168.179.14: icmp_seq=2 ttl=64 time=0.430 ms

--- 192.168.179.14 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.430/0.703/0.976/0.273 ms
複製程式碼

10.8/16 --> ns1

# 在本地的 MacOS 客戶端 ping 192.168.179.12
$ ping 192.168.179.12 -c 2

PING 192.168.179.12 (192.168.179.12): 56 data bytes
Request timeout for icmp_seq 0

--- 192.168.179.12 ping statistics ---
2 packets transmitted, 0 packets received, 100.0% packet loss
複製程式碼

發現跨三層網段是 ping 不通的。這個問題很好解決，我們剛剛給 ns1 和 ns2 分配 IP 的時候並沒有指定預設路由，指定個預設路由問題就迎刃而解了。

$ ip netns exec ns1 ip route add default via 192.168.1.1 dev mac1
複製程式碼

如果你想開發 Macvlan cni 外掛，這個地方需要注意一下，每次給 Pod 分配好 IP 以後要新增一條預設路由指向閘道器，不然無法跨三層通訊。

ns1 --> ens160

$ ip netns exec ns1 ping -c 2 192.168.179.9

PING 192.168.179.9 (192.168.179.9) 56(84) bytes of data.

--- 192.168.179.9 ping statistics ---
2 packets transmitted, 0 received, 100% packet loss, time 999ms
複製程式碼

這裡就遇到了我在上一篇文章開頭提到的問題。到目前為止，整個實驗的拓撲結構如下：

Macvlan 網路方案實踐

其實也很好解決，額外建立一個 Macvlan 子介面，並把 ens160 的 IP 分給這個子介面，最後還要修改預設路由。

$ ip link add link ens160 mac0 type macvlan mode bridge
# 下面的命令一定要放在一起執行，否則中間會失去連線
$ ip addr del 192.168.179.9/16 dev ens160 && \
  ip addr add 192.168.179.9/16 dev mac0 && \
  ip link set dev mac0 up && \
  ip route flush dev ens160 && \
  ip route flush dev mac0 && \
  ip route add 192.168.0.0/16 dev mac0 metric 0 && \
  ip route add default via 192.168.1.1 dev mac0 &
複製程式碼

這裡一定不能 Down 掉 ens160，否則所有的子介面都將無法工作。

現在就能 ping 通了：

$ ip netns exec ns1 ping -c 2 192.168.179.9

PING 192.168.179.9 (192.168.179.9) 56(84) bytes of data.
64 bytes from 192.168.179.9: icmp_seq=1 ttl=64 time=0.137 ms
64 bytes from 192.168.179.9: icmp_seq=2 ttl=64 time=0.078 ms

--- 192.168.179.9 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.078/0.107/0.137/0.031 ms
複製程式碼

相關文章