【原創】Linux虛擬化KVM-Qemu分析（九）之virtio裝置

LoyenWang發表於2021-02-13
Linux

背景

  • Read the fucking source code! --By 魯迅
  • A picture is worth a thousand words. --By 高爾基

說明：

  1. KVM版本：5.9.1
  2. QEMU版本：5.0.0
  3. 工具：Source Insight 3.5， Visio
  4. 文章同步在部落格園：https://www.cnblogs.com/LoyenWang/

新的一年， 大家牛起來！
祝小姐姐們：
落雁沉魚 蘭質蕙心 明眸皓齒 螓首蛾眉 天生麗質 天香國色 杏臉桃腮 煦色韶光 涎玉沫珠 宜嗔宜喜 遠山芙蓉 豔色絕世 餘霞成綺 阿嬌金屋 逞嬌呈美 國色天香 花顏月貌 絕色佳人 暗香盈袖 閉月羞花 傾國傾城 溫婉嫻淑 千嬌百媚 儀態萬千...

祝男的：
新年好。

1. 概述

先來張圖：

  • 圖中羅列了四個關鍵模組：Virtio Device、Virtio Driver、Virtqueue、Notification（eventfd/irqfd）；
  • Virtio Driver：前端部分，處理使用者請求，並將I/O請求轉移到後端；
  • Virtio Device：後端部分，由Qemu來實現，接收前端的I/O請求，並通過物理裝置進行I/O操作；
  • Virtqueue：中間層部分，用於資料的傳輸；
  • Notification：互動方式，用於非同步事件的通知；

 
想在一篇文章中寫完這四個模組，有點too yong too simple，所以，看起來又是一個系列文章了。
本文先從Qemu側的virtio device入手，我會選擇從一個實際的裝置來闡述，沒錯，還是上篇文章中提到的網路裝置。

2. 流程分析

在Qemu的網路卡虛擬化時，通常會建立一個虛擬網路卡前端和虛擬網路卡後端，如下圖：

  • 在虛擬機器建立的時候指定引數：-netdev tap, id = tap0， -device virtio-net-pci, netdev=tap0；
  • 建立一個Tap網路卡後端裝置；
  • 建立一個Virtio-Net網路卡前端裝置；
  • 網路卡前端裝置和後端裝置進行互動，最終與Host的驅動完成資料的收發；

全文圍繞著Tap裝置的建立和Virtio-Net裝置的建立展開。

入口流程如下：

  • Qemu的程式碼閱讀起來還是比較費勁的，各種盤根錯節，裡邊充斥著物件導向的思想，先給自己挖個坑，後續會專題研究的，this is for you, you have my words.;
  • 圖中與本文相關的有三個模組：1）模組初始化；2）網路裝置初始化；3）裝置初始化；
    1. Qemu中裝置模擬通過type_init先編譯進系統，在module_call_init時進行回撥，比如圖中的xxx_register_types，在這些函式中都是根據TypeInfo型別資訊來建立具體的實現資訊；
    2. net_init_client用來建立網路裝置，比如Tap裝置；
    3. device_init_func根據Qemu命令的傳入引數建立虛擬裝置，比如Virtio-Net；

下邊進入細節，the devil is in the details。

3. tap建立

從上文中，我們知道，Tap與Virtio-Net屬於前後端的關係，最終是通過結構體分別指向對方，如下圖：

  • NetClientState是網路卡模擬的核心結構，表示網路裝置中的幾個端點，兩個端點通過peer指向對方；

建立Tap裝置的主要工作就是建立一個NetClientState結構，並新增到net_clients連結串列中：

函式的呼叫細節如下圖：

  • 處理流程只關注了核心的處理流程，整個過程有很多關於傳入引數的處理，選擇性忽略了；
  • net_tap_init：與Host的tun驅動進行互動，其實質就是開啟該裝置檔案，並進行相應的配置等；
  • net_tap_fd_init：根據net_tap_info結構，建立NetClientState，並進行相關設定，這裡邊net_tap_info結構體中的接收函式指標用於實際的資料傳輸處理；
  • tap_read_poll用於將fd新增到Qemu的AioContext中，用於非同步響應，當有資料來臨時，捕獲事件並進行處理；

以上就是Tap後端的建立過程，下文將針對前端建立了。

4. virtio-net建立

這是一個複雜的流程。

4.1 資料結構

Qemu中用C語言實現了物件導向的模型，用於對裝置進行抽象，精妙！
針對Virtio-Net裝置，結構體及拓撲組織關係如下圖：

  • DeviceState作為所有裝置的父類，其中派生了VirtIODevice和PCIDevice，而本文研究的Virtio-Net派生自VirtIODevice；
  • Qemu中會虛擬一個PCI匯流排，同時建立virtio-net-pci，virtio-balloon-pci，virtio-scsi-pci等PCI代理裝置，這些代理裝置掛載在PCI匯流排上，同時會建立Virtio匯流排，用於掛載最終的裝置，比如VirtIONet；
  • PCI代理裝置就是一個紐帶；

4.2 流程分析

與裝置建立相關的三個函式，可以從device_init_func入口跟蹤得知：

  • 當Qemu命令通過-device傳入引數時，device_init_func會根據引數去查詢裝置，並最終呼叫到該裝置對應的類初始化函式、物件初始化函式、以及realize函式；
  • 所以，我們的分析就是這三個入口；

4.2.1 class_init

  • 在網路卡虛擬化過程中，引數只需要指定PCI代理裝置即可，也就是-device virtio-net-pci, netdev=tap0，從而會呼叫到virtio_net_pci_class_init函式；
  • 由於實現了類的繼承關係，在子類初始化之前，需要先呼叫父類的實現，圖中也表明了繼承關係以及呼叫函式順序；
  • C語言實現繼承，也就是將父物件放置在自己結構體的開始位置，圖中的顏色能看出來；

4.2.2 instance_init

類初始化結束後，開始物件的建立：

  • 針對Virtio-Net-PCI的例項化比較簡單，作為代理，負責將它的後繼物件初始化，也就是本文的前端裝置Virtio-Net；

4.2.3 realize

  • realize的呼叫，比較繞，簡單來說，它的類繼承關係中存在多個realize的函式指標，最終會從父類開始執行，一直呼叫到子類，而這些函式指標的初始化在什麼時候做的呢？沒錯，就是在class_init類初始化的時候，進行了賦值，細節不表，結論可靠；
  • 最終的呼叫關係就如圖了；

到目前為止，我們似乎都還沒有看到Virtio-Net裝置的相關操作，不用著急，已經很接近真相了：

  • virtio_net_pci_realize函式，會觸發virtio_device_realize的呼叫，該函式是一個通用的virtio裝置實現函式，所有的virtio裝置都會呼叫，而我們的前端裝置Virtio-Net也是virtio裝置；
  • virtio_net_device_realize就到了我們的主角了，它進行了virtio通用的設定（後續在資料通訊中再分析），還建立了一個NetClientState端點，與Tap裝置對應，分別指向了對方，惺惺相惜，各自安好；
  • virtio_bus_device_plugged表示裝置插入匯流排時的處理，完成的工作就是按照PCI匯流排規劃，配置各類資訊，以便與Guest OS中的virtio驅動互動，後續的文章再分析了；

本文基本捋清了虛擬網路卡前端裝置和後端裝置的建立過程，完成的工作只是繫結了彼此，資料互動以及通知機制，留給後續吧。

參考

《 Virtual I/O Device (VIRTIO) Version 1.1》
https://www.redhat.com/en/blog/virtio-devices-and-drivers-overview-headjack-and-phone

歡迎關注個人公眾號，不定期更新技術文章。

相關文章