【原創】Linux PCI驅動框架分析（一）

LoyenWang發表於2020-12-20
Linux框架

背景

  • Read the fucking source code! --By 魯迅
  • A picture is worth a thousand words. --By 高爾基

說明：

  1. Kernel版本：4.14
  2. ARM64處理器
  3. 使用工具：Source Insight 3.5， Visio

1. 概述

從本文開始，將會針對PCIe專題來展開，涉及的內容包括：

  1. PCI/PCIe匯流排硬體；
  2. Linux PCI驅動核心框架；
  3. Linux PCI Host控制器驅動；

不排除會包含PCIe外設驅動模組，一切隨緣。

 
作為專題的第一篇，當然會先從硬體匯流排入手。
進入主題前，先講點背景知識。
在PC時代，隨著處理器的發展，經歷了幾代I/O匯流排的發展，解決的問題都是CPU主頻提升與外部裝置訪問速度的問題：

  1. 第一代匯流排包含ISA、EISA、VESA和Micro Channel等；
  2. 第二代匯流排包含PCI、AGP、PCI-X等；
  3. 第三代匯流排包含PCIe、mPCIe、m.2等；

PCIe（PCI Express）是目前PC和嵌入式系統中最常用的高速匯流排，PCIe在PCI的基礎上發展而來，在軟體上PCIe與PCI是後向相容的，PCI的系統軟體可以用在PCIe系統中。

 
本文會分兩部分展開，先介紹PCI匯流排，然後再介紹PCIe匯流排，方便在理解上的過渡，開始旅程吧。

2. PCI Local Bus

2.1 PCI匯流排組成

  • PCI匯流排（Peripheral Component Interconnect，外部裝置互聯），由Intel公司提出，其主要功能是連線外部裝置；
  • PCI Local Bus，PCI區域性匯流排，區域性匯流排技術是PC體系結構發展的一次變革，是在ISA匯流排和CPU匯流排之間增加的一級匯流排或管理層，可將一些高速外設，如圖形卡、硬碟控制器等從ISA匯流排上卸下，而通過區域性匯流排直接掛接在CPU匯流排上，使之與高速CPU匯流排相匹配。PCI匯流排，指的就是PCI Local Bus。

先來看一下PCI Local Bus的系統架構圖：

從圖中看，與PCI匯流排相關的模組包括：

  1. Host Bridge，比如PC中常見的North Bridge（北橋）；
    圖中處理器、Cache、記憶體子系統通過Host Bridge連線到PCI上，Host Bridge管理PCI匯流排域，是聯絡處理器和PCI裝置的橋樑，完成處理器與PCI裝置間的資料交換。其中資料交換，包含處理器訪問PCI裝置的地址空間和PCI裝置使用DMA機制訪問主儲存器，在PCI裝置用DMA訪問儲存器時，會存在Cache一致性問題，這個也是Host Bridge設計時需要考慮的；
    此外，Host Bridge還可選的支援仲裁機制，熱插拔等；

  2. PCI Local Bus；
    PCI匯流排，由Host Bridge或者PCI-to-PCI Bridge管理，用來連線各類裝置，比如音效卡、網路卡、IDE介面等。可以通過PCI-to-PCI Bridge來擴充套件PCI匯流排，並構成多級匯流排的匯流排樹，比如圖中的PCI Local Bus #0和PCI Local Bus #1兩條PCI匯流排就構成一顆匯流排樹，同屬一個匯流排域；

  3. PCI-To-PCI Bridge；
    PCI橋，用於擴充套件PCI匯流排，使採用PCI匯流排進行大規模系統互聯成為可能，管理下游匯流排，並轉發上下游匯流排之間的事務；

  4. PCI Device；
    PCI匯流排中有三類裝置：PCI從裝置，PCI主裝置，橋裝置。
    PCI從裝置：被動接收來自Host Bridge或者其他PCI裝置的讀寫請求；
    PCI主裝置：可以通過匯流排仲裁獲得PCI匯流排的使用權，主動向其他PCI裝置或主儲存器發起讀寫請求；
    橋裝置：管理下游的PCI匯流排，並轉發上下游匯流排之間的匯流排事務，包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等。

2.2 PCI匯流排訊號定義

PCI匯流排是一條共享匯流排，可以掛接多個PCI裝置，PCI裝置通過一系列訊號與PCI匯流排相連，包括：地址/資料訊號、介面控制訊號、仲裁訊號、中斷訊號等。如下圖：

  • 左側紅色框裡表示的是PCI匯流排必需的訊號，而右側藍色框裡表示的是可選的訊號；
  • AD[31:00]：地址與資料訊號複用，在傳送時第一個時鐘週期傳送地址，下一個時鐘週期傳送資料；
  • C/BE[3:0]#：PCI匯流排命令與位元組使能訊號複用，在地址週期中表示的是PCI匯流排命令，在資料週期中用於位元組選擇，可以進行單位元組、字、雙字訪問；
  • PAR：奇偶校驗訊號，確保AD[31:00]和C/BE[3:0]#傳遞的正確性；
  • Interface Control：介面控制訊號，主要作用是保證資料的正常傳遞，並根據PCI主從裝置的狀態，暫停、終止或者正常完成匯流排事務：
    • FRAME#：表示PCI匯流排事務的開始與結束；
    • IRDY#：訊號由PCI主裝置驅動，訊號有效時表示PCI主裝置資料已經ready；
    • TRDY#：訊號由目標裝置驅動，訊號有效時表示目標裝置資料已經ready；
    • STOP#：目標裝置請求主裝置停止當前匯流排事務；
    • DEVSEL#：PCI匯流排的目標裝置已經準備好；
    • IDSEL：PCI匯流排在配置讀寫匯流排事務時，使用該訊號選擇PCI目標裝置；
  • Arbitration：仲裁訊號，由REQ#和GNT#組成，與PCI匯流排的仲裁器直接相連，只有PCI主裝置需要使用該組訊號，每條PCI匯流排上都有一個匯流排仲裁器；
  • Error Reporting：錯誤訊號，包括PERR#奇偶校驗錯誤和SERR系統錯誤；
  • System：系統訊號，包括時鐘訊號和復位訊號；

看一下C/BE[3:0]都有哪些命令吧：

2.3 PCI事務模型

PCI使用三種模型用於資料的傳輸：

  1. Programmed I/O：通過IO讀寫訪問PCI裝置空間；
  2. DMA：PIO的方式比較低效，DMA的方式可以直接去訪問主儲存器而無需CPU干預，效率更高；
  3. Peer-to-peer：兩臺PCI裝置之間直接傳送資料；

2.4 PCI匯流排地址空間對映

PCI體系架構支援三種地址空間：

  1. memory空間：
    針對32bit定址，支援4G的地址空間，針對64bit定址，支援16EB的地址空間；

  2. I/O空間
    PCI最大支援4G的IO空間，但受限於x86處理器的IO空間（16bits頻寬），很多平臺將PCI的IO地址空間限定在64KB；

  3. 配置空間
    x86 CPU可以直接訪問memory空間和I/O空間，而配置空間則不能直接訪問；
    每個PCI功能最多可以有256位元組的配置空間；
    PCI匯流排在進行配置的時候，採用ID譯碼方式，使用裝置的ID號，包括Bus Number，Device Number，Function Number和Register Number，每個系統支援256條匯流排，每條匯流排支援32個裝置，每個裝置支援8個功能，由於每個功能最多有256位元組的配置空間，因此總的配置空間大小為：256B * 8 * 32 * 256 = 16M；

    有必要再進一步介紹一下配置空間：
    x86 CPU無法直接訪問配置空間，通過IO對映的資料埠和地址埠間接訪問PCI的配置空間，其中地址埠對映到0CF8h - 0CFBh，資料埠對映到0CFCh - 0CFFh；

    • 圖為配置地址暫存器構成，PCI的配置過程分為兩步：
      1. CPU寫CF8h埠，其中寫的內容如圖所示，BUS，Device，Function能標識出特定的裝置功能，Doubleword來指定配置空間的具體某個暫存器；
      2. CPU可以IO讀寫CFCh埠，用於讀取步驟1中的指定暫存器內容，或者寫入指定暫存器內容。這個過程有點類似於通過I2C去配置外接晶片；

    那具體的配置空間暫存器都是什麼樣的呢？每個功能256Byte，前邊64Byte是Header，剩餘的192Byte支援可選功能。有種型別的PCI功能：Bridge和Device，兩者的Header都不一樣。

    • Bridge

    • Device

配置空間中有個暫存器欄位需要說明一下：Base Address Register，也就是BAR空間，當PCI裝置的配置空間被初始化後，該裝置在PCI匯流排上就會擁有一個獨立的PCI匯流排地址空間，這個空間就是BAR空間，BAR空間可以存放IO地址空間，也可以存放儲存器地址空間。

 

  • PCI匯流排取得了很大的成功，但隨著CPU的主頻不斷提高，PCI匯流排的頻寬也捉襟見肘。此外，它本身存在一些架構上的缺陷，面臨一系列挑戰，包括頻寬、流量控制、資料傳送質量等；
  • PCIe應運而生，能有效解決這些問題，所以PCIe才是我們的主角；

3. PCI Express

3.1 PCIe體系結構

先看一下PCIe架構的組成圖：

  • Root Complex：CPU和PCIe匯流排之間的介面可能會包含幾個模組（處理器介面、DRAM介面等），甚至可能還會包含晶片，這個集合就稱為Root Complex，它作為PCIe架構的根，代表CPU與系統其它部分進行互動。廣義來說，Root Complex可以認為是CPU和PCIe拓撲之間的介面，Root Complex會將CPU的request轉換成PCIe的4種不同的請求（Configuration、Memory、I/O、Message）；
  • Switch：從圖中可以看出，Swtich提供扇出能力，讓更多的PCIe裝置連線在PCIe埠上；
  • Bridge：橋接裝置，用於去連線其他的匯流排，比如PCI匯流排或PCI-X匯流排，甚至另外的PCIe匯流排；
  • PCIe Endpoint：PCIe裝置；
  • 圖中白色的小方塊代表Downstream埠，灰色的小方塊代表Upstream埠；

前文提到過，PCIe在軟體上保持了後向相容性，那麼在PCIe的設計上，需要考慮在PCI匯流排上的軟體視角，比如Root Complex的實現可能就如下圖所示，從而看起來與PCI匯流排相差無異：

  • Root Complex通常會實現一個內部匯流排結構和多個橋，從而扇出到多個埠上；
  • Root Complex的內部實現不需要遵循標準，因此都是廠家specific的；

而Switch的實現可能如下圖所示：

  • Switch就是一個擴充套件裝置，所以看起來像是各種橋的連線路由；

3.2 PCIe資料傳輸

  • 與PCI匯流排不同（PCI裝置共享匯流排），PCIe匯流排使用端到端的連線方式，互為接收端和傳送端，全雙工，基於資料包的傳輸；
  • 物理底層採用差分訊號（PCI鏈路採用並行匯流排，而PCIe鏈路採用序列匯流排），一條Lane中有兩組差分訊號，共四根訊號線，而PCIe Link可以由多條Lane組成，可以支援1、2、4、8、12、16、32條；

PCIe規範定義了分層的架構設計，包含三層：

  1. Transaction層

    • 負責TLP包（Transaction Layer Packet）的封裝與解封裝，此外還負責QoS，流控、排序等功能；

  2. Data Link層

    • 負責DLLP包（Data Link Layer Packet）的封裝與解封裝，此外還負責連結錯誤檢測和校正，使用Ack/Nak協議來確保傳輸可靠；

  3. Physical層

    • 負責Ordered-Set包的封裝與解封裝，物理層處理TLPs、DLLPs、Ordered-Set三種型別的包傳輸；

資料包的封裝與解封裝，與網路包的建立與解析很類似，如下圖：

  • 封裝的時候，在Payload資料前新增各種包頭，解析時是一個逆向的過程；

來一個更詳細的PCIe分層圖：

3.3 PCIe裝置的配置空間

為了相容PCI軟體，PCIe保留了256Byte的配置空間，如下圖：

此外，在這個基礎上將配置空間擴充套件到了4KB，還進行了功能的擴充套件，比如Capability、Power Management、MSI中斷等：

  • 擴充套件後的區域將使用MMIO的方式進行訪問；

草草收場吧，對PCI和PCIe有一些輪廓上的認知了，可以開始Source Code的軟體分析了，欲知詳情、下回分解！

參考

《PCI Express Technology 3.0》
《pci local bus specification revision 3.0》
《PCIe體系結構導讀》
《PCI Express系統體系結構標準教材》

歡迎關注個人公眾號，不定期分享Linux核心相關技術文章：

相關文章