# [Qemu，KVM，Virsh傻傻的分不清](https://www.cnblogs.com/popsuper1982/p/8522535.html)

本文轉載自[Itweet](https://link.juejin.im/?target=http%3A%2F%2Fwww.itweet.cn)的部落格

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫，更多精彩內容請到我的倉庫裡檢視
> https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈

本系列文章將整理於我的個人部落格：
> www.how2playlife.com

該系列博文會介紹常見的後端技術，這對後端工程師來說是一種綜合能力，我們會逐步瞭解搜尋技術，雲端計算相關技術、大資料研發等常見的技術喜提，以便讓你更完整地瞭解後端技術棧的全貌，為後續參與分散式應用的開發和學習做好準備。

如果對本系列文章有什麼建議，或者是有什麼疑問的話，也可以關注公眾號【Java技術江湖】聯絡我，歡迎你參與本系列博文的創作和修訂。

當你安裝了一臺Linux，想啟動一個KVM虛擬機器的時候，你會發現需要安裝不同的軟體，啟動虛擬機器的時候，有多種方法：

*   virsh start

*   kvm命令

*   qemu命令

*   qemu-kvm命令

*   qemu-system-x86_64命令

這些之間是什麼關係呢？請先閱讀上一篇《[白話虛擬化技術](https://blog.csdn.net/a724888/article/details/80996570)》

有了上一篇的基礎，我們就能說清楚來龍去脈。

KVM（Kernel-based Virtual Machine的英文縮寫）是核心內建的虛擬機器。有點類似於 Xen ，但更追求更簡便的運作，比如執行此虛擬機器，僅需要載入相應的 kvm 模組即可後臺待命。和 Xen 的完整模擬不同的是，KVM 需要晶片支援虛擬化技術（英特爾的 VT 擴充套件或者 AMD 的 AMD-V 擴充套件）。

首先看qemu，其中關鍵字emu，全稱emulator，模擬器，所以單純使用qemu是採用的完全虛擬化的模式。

Qemu向Guest OS模擬CPU，也模擬其他的硬體，GuestOS認為自己和硬體直接打交道，其實是同Qemu模擬出來的硬體打交道，Qemu將這些指令轉譯給真正的硬體。由於所有的指令都要從Qemu裡面過一手，因而效能比較差

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150620008-108720261.jpg)

按照上一次的理論，完全虛擬化是非常慢的，所以要使用硬體輔助虛擬化技術Intel-VT，AMD-V，所以需要CPU硬體開啟這個標誌位，一般在BIOS裡面設定。檢視是否開啟

對於Intel CPU 可用命令 grep "vmx" /proc/cpuinfo 判斷

對於AMD CPU 可用命令 grep "svm" /proc/cpuinfo 判斷

當確認開始了標誌位之後，透過KVM，GuestOS的CPU指令不用經過Qemu轉譯，直接執行，大大提高了速度。

所以KVM在核心裡面需要有一個模組，來設定當前CPU是Guest OS在用，還是Host OS在用。

檢視核心模組中是否含有kvm, ubuntu預設載入這些模組

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150634298-628102674.png)

KVM核心模組透過/dev/kvm暴露介面，使用者態程式可以透過ioctl來訪問這個介面，例如書寫下面的程式

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150654328-1662633336.png)

Qemu將KVM整合進來，透過ioctl呼叫/dev/kvm介面，將有關CPU指令的部分交由核心模組來做，就是qemu-kvm (qemu-system-XXX)

Qemu-kvm對kvm的整合從release_0_5_1開始有branch，在1.3.0正式merge到master

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150710177-1591777831.png)

qemu和kvm整合之後，CPU的效能問題解決了，另外Qemu還會模擬其他的硬體，如Network, Disk，同樣全虛擬化的方式也會影響這些裝置的效能。

於是qemu採取半虛擬化或者類虛擬化的方式，讓Guest OS載入特殊的驅動來做這件事情。

例如網路需要載入virtio_net，儲存需要載入virtio_blk，Guest需要安裝這些半虛擬化驅動，GuestOS知道自己是虛擬機器，所以資料直接傳送給半虛擬化裝置，經過特殊處理，例如排隊，快取，批次處理等效能最佳化方式，最終傳送給真正的硬體，一定程度上提高了效能。

至此整個關係如下：

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150733042-369996016.jpg)

qemu-kvm會建立Guest OS，當需要執行CPU指令的時候，透過/dev/kvm呼叫kvm核心模組，透過硬體輔助虛擬化方式加速。如果需要進行網路和儲存訪問，則透過類虛擬化或者直通Pass through的方式，透過載入特殊的驅動，加速訪問網路和儲存資源。

然而直接用qemu或者qemu-kvm或者qemu-system-xxx的少，大多數還是透過virsh啟動，virsh屬於libvirt工具，libvirt是目前使用最為廣泛的對KVM虛擬機器進行管理的工具和API，可不止管理KVM。

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150801681-1586679180.jpg)

Libvirt分服務端和客戶端，Libvirtd是一個daemon程式，是服務端，可以被本地的virsh呼叫，也可以被遠端的virsh呼叫，virsh相當於客戶端。

Libvirtd呼叫qemu-kvm操作虛擬機器，有關CPU虛擬化的部分，qemu-kvm呼叫kvm的核心模組來實現

![](https://images2018.cnblogs.com/blog/635909/201803/635909-20180307150815111-1223973253.jpg)

這下子，整個相互關係才搞清楚了。

雖然使用virsh建立虛擬機器相對簡單，但是為了探究虛擬機器的究竟如何使用，下一次，我們來解析一下如何裸使用qemu-kvm來建立一臺虛擬機器，並且能上網。

如果搭建使用過vmware桌面版或者virtualbox桌面版，建立一個能上網的虛擬機器非常簡單，但是其實背後做了很多事情，下一次我們裸用qemu-kvm，全部使用手工配置，看建立虛擬機器都做了哪些事情。

本章節我們主要介紹透過VMware技術虛擬出相關的Linux軟體環境，在Linux系統中，安裝KVM虛擬化軟體，實實在在的去實踐一下KVM到底是一個什麼樣的技術？

##  Kvm虛擬化技術實踐

### VMware虛擬機器支援Kvm虛擬化技術？

在VMware建立的虛擬機器中，預設不支援Kvm虛擬化技術，需要晶片級的擴充套件支援，幸好VMware提供完整的解決方案，可以透過修改虛擬化引擎。

VMware軟體版本資訊，`VMware® Workstation 11.0.0 build-2305329`

首先，你需要啟動VMware軟體，新建一個`CentOS 6.x`型別的虛擬機器，正常安裝完成，這個虛擬機器預設的`虛擬化引擎`，`首選模式`為”自動”。

如果想讓我們的VMware虛擬化出來的CentOS虛擬機器支援KVM虛擬化，我們需要修改它支援的`虛擬化引擎`,開啟新建的虛擬機器，虛擬機器狀態必須處於`關閉`狀態，透過雙擊`編輯虛擬機器設定` > `硬體` ，選擇`處理器`選單，右邊會出現`虛擬化引擎`區域，選擇`首選模式`為 _Intel Tv-x/EPT或AMD-V/RVI_,接下來勾選`虛擬化Intel Tv-x/EPT或AMD-V/RVI(v)`，點選`確定`。

KVM需要虛擬機器宿主（host）的處理器帶有虛擬化支援（對於Intel處理器來說是VT-x，對於AMD處理器來說是AMD-V）。你可以透過以下命令來檢查你的處理器是否支援虛擬化：

```
 grep --color -E '(vmx|svm)' /proc/cpuinfo

```

如果執行後沒有顯示，那麼你的處理器不支援硬體虛擬化，你不能使用KVM。

*   注意: 如果是硬體伺服器，您可能需要在BIOS中啟用虛擬化支援，參考 [Private Cloud personal workstation](https://link.juejin.im/?target=http%3A%2F%2Fwww.itweet.cn%2Fblog%2F2016%2F06%2F14%2FPrivate%2520Cloud%2520personal%2520workstation)

### 安裝Kvm虛擬化軟體

安裝kvm虛擬化軟體，我們需要一個Linux作業系統環境，這裡我們選擇的Linux版本為`CentOS release 6.8 (Final)`，在這個VMware虛擬化出來的虛擬機器中安裝kvm虛擬化軟體，具體步驟如下：

*   首選安裝epel源

```
    sudo rpm -ivh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm

```

*   安裝kvm虛擬化軟體

```
    sudo yum install qemu-kvm qeum-kvm-tools virt-manager libvirt

```

*   啟動kvm虛擬化軟體

```
    sudo /etc/init.d/libvirtd start

```

啟動成功之後你可以透過`/etc/init.d/libvirtd status`檢視啟動狀態，這個時候，kvm會自動生成一個本地網橋 `virbr0`，可以透過命令檢視他的詳細資訊

```
# ifconfig virbr0virbr0    Link encap:Ethernet  HWaddr 52:54:00:D7:23:AD            inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1          RX packets:0 errors:0 dropped:0 overruns:0 frame:0          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0          collisions:0 txqueuelen:0           RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
```

KVM預設使用NAT網路模式。虛擬機器獲取一個私有 IP（例如 192.168.122.0/24 網段的），並透過本地主機的NAT訪問外網。

```
# brctl showbridge name     bridge id               STP enabled     interfacesvirbr0          8000.525400d723ad       yes             virbr0-nic
```

建立一個本地網橋virbr0，包括兩個埠：virbr0-nic 為網橋內部埠，vnet0 為虛擬機器閘道器埠（192.168.122.1）。

虛擬機器啟動後，配置 192.168.122.1（vnet0）為閘道器。所有網路操作均由本地主機系統負責。

DNS/DHCP的實現，本地主機系統啟動一個 dnsmasq 來負責管理。

```
ps aux|grep dnsmasq

```

`注意：` 啟動libvirtd之後自動啟動iptables，並且寫上一些預設規則。

```
# iptables -nvL -t natChain PREROUTING (policy ACCEPT 304 packets, 38526 bytes) pkts bytes target     prot opt in     out     source               destination          Chain POSTROUTING (policy ACCEPT 7 packets, 483 bytes) pkts bytes target     prot opt in     out     source               destination             0     0 MASQUERADE  tcp  --  *      *       192.168.122.0/24    !192.168.122.0/24    masq ports: 1024-65535     0     0 MASQUERADE  udp  --  *      *       192.168.122.0/24    !192.168.122.0/24    masq ports: 1024-65535     0     0 MASQUERADE  all  --  *      *       192.168.122.0/24    !192.168.122.0/24     Chain OUTPUT (policy ACCEPT 7 packets, 483 bytes) pkts bytes target     prot opt in     out     source               destination
```

### kvm建立虛擬機器

上傳一個映象檔案：`CentOS-6.6-x86_64-bin-DVD1.iso`

透過`qemu`建立一個raw格式的檔案(注：QEMU使用的映象檔案：qcow2與raw，它們都是QEMU(KVM)虛擬機器使用的磁碟檔案格式)，大小為5G。

```
qemu-img create -f raw /data/Centos-6.6-x68_64.raw 5G

```

檢視建立的raw磁碟格式檔案資訊

```
qemu-img info /data/Centos-6.6-x68_64.raw  image: /data/Centos-6.6-x68_64.rawfile format: rawvirtual size: 5.0G (5368709120 bytes)disk size: 0
```

啟動，kvm虛擬機器，進行作業系統安裝

```
virt-install  --virt-type kvm --name CentOS-6.6-x86_64 --ram 512 --cdrom /data/CentOS-6.6-x86_64-bin-DVD1.iso --disk path=/data/Centos-6.6-x68_64.raw --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole

```

啟動之後，透過命令檢視啟動狀態，預設會在作業系統開一個`5900`的埠，可以透過虛擬機器遠端管理軟體`vnc`客戶端連線，然後視覺化的方式安裝作業系統。

```
# netstat -ntlp|grep 5900tcp        0      0 0.0.0.0:5900                0.0.0.0:*                   LISTEN      2504/qemu-kvm
```

`注意`：kvm安裝的虛擬機器，不確定是那一臺，在後臺就是一個程式，每增加一臺埠號+1，第一次建立的為5900！

### 虛擬機器遠端管理軟體

我們可以使用虛擬機器遠端管理軟體VNC進行作業系統的安裝，我使用過的兩款不錯的虛擬機器遠端管理終端軟體，一個是Windows上使用，一個在Mac上為了方便安裝一個Google Chrome外掛後即可開始使用，軟體資訊 `Tightvnc` 或者 `VNC[@Viewer](https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2FViewer "@Viewer") for Google Chrome`

如果你和我一樣使用的是`Google Chrome`提供的VNC外掛，使用方式，在`Address`輸入框中輸入，宿主機IP:59000,`Picture Quality`選擇框使用預設選項，點選`Connect`進入到安裝作業系統的介面，你可以安裝常規的方式進行安裝，等待系統安裝完成重啟，然後就可以正常使用kvm虛擬化出來的作業系統了。

`Tightvnc`軟體的使用，請參考官方手冊。

*   Tightvnc下載地址：[www.tightvnc.com/download.ph…](https://link.juejin.im/?target=http%3A%2F%2Fwww.tightvnc.com%2Fdownload.php)
*   Tightvnc下載地址：[www.tightvnc.com/download/2.…](https://link.juejin.im/?target=http%3A%2F%2Fwww.tightvnc.com%2Fdownload%2F2.7.10%2Ftightvnc-2.7.10-setup-64bit.msi)
*   Tightvnc下載地址：[www.tightvnc.com/download/2.…](https://link.juejin.im/?target=http%3A%2F%2Fwww.tightvnc.com%2Fdownload%2F2.7.10%2Ftightvnc-2.7.10-setup-32bit.msi)

### KVM虛擬機器管理

kvm虛擬機器是透過virsh命令進行管理的，libvirt是Linux上的虛擬化庫，是長期穩定的C語言API，支援KVM/QEMU、Xen、LXC等主流虛擬化方案。連結：[libvirt.org/](https://link.juejin.im/?target=http%3A%2F%2Flibvirt.org%2F)
virsh是Libvirt對應的shell命令。

檢視所有虛擬機器狀態

```
virsh list --all

```

啟動虛擬機器

```
virsh start [NAME]

```

列表啟動狀態的虛擬機器

```
virsh list

```

*   常用命令檢視

```
    virsh --help|more less

```

### libvirt虛擬機器配置檔案

虛擬機器libvirt配置檔案在`/etc/libvirt/qemu`路徑下，生產中我們需要去修改它的網路資訊。

```
# lltotal 8-rw-------. 1 root root 3047 Oct 19  2016 Centos-6.6-x68_64.xmldrwx------. 3 root root 4096 Oct 17  2016 networks
```

`注意`：不能直接修改xml檔案，需要透過提供的命令！

```
 virsh edit Centos-6.6-x68_64

```

kvm三種網路型別,橋接、NAT、僅主機模式，預設NAT模式,其他機器無法登陸，生產中一般選擇橋接。

### 監控kvm虛擬機器

*   安裝軟體監控虛擬機器

```
yum install virt-top -y

```

*   檢視虛擬機器資源使用情況

```
virt-top virt-top 23:46:39 - x86_64 1/1CPU 3392MHz 3816MB1 domains, 1 active, 1 running, 0 sleeping, 0 paused, 0 inactive D:0 O:0 X:0CPU: 5.6%  Mem: 2024 MB (2024 MB by guests)    ID S RDRQ WRRQ RXBY TXBY %CPU %MEM    TIME   NAME                                                                                                     1 R    0    1   52    0  5.6 53.0   5:16.15 centos-6.8
```

### KVM修改NAT模式為橋接[案例]

在開始案例之前，需要知道的必要資訊，宿主機IP是`192.168.2.200`，作業系統版本`Centos-6.6-x68_64`。

啟動虛擬網路卡

```
ifup eth0

```

這裡網路卡是NAT模式，可以上網，ping通其他機器，但是其他機器無法登陸！

宿主機檢視網路卡資訊

```
brctl show ifconfig virbr0 ifconfig vnet0
```

_實現網橋，在kvm宿主機完成_

*   步驟1，建立一個網橋，新建網橋連線到eth0,刪除eth0,讓新的網橋擁有eth0的ip

```
brctl addbr br0  #建立一個網橋 brctl show       #顯示網橋資訊 brctl addif br0 eth0 && ip addr del dev eth0 192.168.2.200/24 && ifconfig br0 192.168.2.200/24 up brctl show      #檢視結果ifconfig br0    #驗證br0是否成功取代了eth0的IP
```

`注意`: 這裡的IP地址為 _宿主機ip_

*   修改虛擬機器橋接到br0網路卡，在宿主機修改

```
virsh list --all ps aux |grep kvm virsh stop Centos-6.6-x68_64 virsh list --all
```

修改虛擬機器橋接到宿主機，修改52行type為`bridge`，第54行bridge為`br0`

```
# virsh edit Centos-6.6-x68_64  # 命令 52     <interface type="network">     53       <mac address="52:54:00:2a:2d:60"></mac>     54       <source network="default"><source>     55            56     </interface> 修改為：52     <interface type="bridge">     53       <mac address="52:54:00:2a:2d:60"></mac>     54       <source bridge="br0"><source>     55            56     </interface>
```

啟動虛擬機器，看到啟動前後，橋接變化，vnet0被橋接到了br0

啟動前：

```
# brctl showbridge name     bridge id               STP enabled     interfacesbr0             8000.000c29f824c9       no              eth0virbr0          8000.525400353d8e       yes             virbr0-nic
```

啟動後：

```
# virsh start CentOS-6.6-x86_64Domain CentOS-6.6-x86_64 started # brctl show                   bridge name     bridge id               STP enabled     interfacesbr0             8000.000c29f824c9       no              eth0                                                        vnet0virbr0          8000.525400353d8e       yes             virbr0-nic
```

Vnc登陸後，修改ip地址，看到dhcp可以使用，被橋接到現有的ip段，ip是自動獲取,而且是和宿主機在同一個IP段.

```
# ifup eth0

```

從宿主機登陸此伺服器，可以成功。

```
# ssh 192.168.2.108root@192.168.2.108's password: Last login: Sat Jan 30 12:40:28 2016
```

從同一網段其他伺服器登陸此虛擬機器,也可以成功,至此讓kvm管理的伺服器能夠橋接上網就完成了，在生產環境中，橋接上網是非常必要的。

### 總結

透過kvm相關的命令來建立虛擬機器，安裝和除錯是非常必要的，因為現有的很多私有云，公有云產品都使用到了kvm這樣的技術，學習基本的kvm使用對維護`openstack`叢集有非常要的作用，其次所有的`openstack image`製作也得透過kvm這樣的底層技術來完成，最後上傳到`openstack`的映象管理模組，才能開始透過`openstack image`生成雲主機。

到此，各位應該能夠體會到，其實kvm是一個非常底層和核心的虛擬化技術，而openstack就是對`kvm`這樣的技術進行了一個上層封裝，可以非常方便，視覺化的操作和維護`kvm`虛擬機器，這就是現在`牛`上天的`雲端計算`技術最底層技術棧，具體怎麼實現請看下圖。

![Libvirt_support](https://user-gold-cdn.xitu.io/2017/6/19/69d6aeff29b1a8ff1d9a62579ad91afb?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)

如上圖，沒有`openstack`我們依然可以透過，`libvirt`來對虛擬機器進行操作，只不過比較繁瑣和難以維護。透過openstack就可以非常方便的進行底層虛擬化技術的管理、維護、使用。

後端技術雜談7：OpenStack的基石KVM

相關文章