阿里二面：什麼是mmap？

艾小仙發表於2021-03-17
阿里

平時在面試中你肯定會經常碰見的問題就是：RocketMQ為什麼快？Kafka為什麼快？什麼是mmap？

這一類的問題都逃不過的一個點就是零拷貝，雖然還有一些其他的原因，但是今天我們的話題主要就是零拷貝。

傳統IO

在開始談零拷貝之前，首先要對傳統的IO方式有一個概念。

基於傳統的IO方式，底層實際上通過呼叫read()和write()來實現。

通過read()把資料從硬碟讀取到核心緩衝區，再複製到使用者緩衝區；然後再通過write()寫入到socket緩衝區，最後寫入網路卡裝置。

整個過程發生了4次使用者態和核心態的上下文切換和4次拷貝，具體流程如下：

  1. 使用者程式通過read()方法向作業系統發起呼叫，此時上下文從使用者態轉向核心態
  2. DMA控制器把資料從硬碟中拷貝到讀緩衝區
  3. CPU把讀緩衝區資料拷貝到應用緩衝區，上下文從核心態轉為使用者態，read()返回
  4. 使用者程式通過write()方法發起呼叫，上下文從使用者態轉為核心態
  5. CPU將應用緩衝區中資料拷貝到socket緩衝區
  6. DMA控制器把資料從socket緩衝區拷貝到網路卡，上下文從核心態切換回使用者態，write()返回

那麼，這裡指的使用者態、核心態指的是什麼？上下文切換又是什麼？

簡單來說，使用者空間指的就是使用者程式的執行空間，核心空間就是核心的執行空間。

如果程式執行在核心空間就是核心態，執行在使用者空間就是使用者態。

為了安全起見，他們之間是互相隔離的，而在使用者態和核心態之間的上下文切換也是比較耗時的。

從上面我們可以看到，一次簡單的IO過程產生了4次上下文切換，這個無疑在高併發場景下會對效能產生較大的影響。

那麼什麼又是DMA拷貝呢？

因為對於一個IO操作而言，都是通過CPU發出對應的指令來完成，但是相比CPU來說，IO的速度太慢了，CPU有大量的時間處於等待IO的狀態。

因此就產生了DMA（Direct Memory Access）直接記憶體訪問技術，本質上來說他就是一塊主機板上獨立的晶片，通過它來進行記憶體和IO裝置的資料傳輸，從而減少CPU的等待時間。

但是無論誰來拷貝，頻繁的拷貝耗時也是對效能的影響。

零拷貝

零拷貝技術是指計算機執行操作時，CPU不需要先將資料從某處記憶體複製到另一個特定區域，這種技術通常用於通過網路傳輸檔案時節省CPU週期和記憶體頻寬。

那麼對於零拷貝而言，並非真的是完全沒有資料拷貝的過程，只不過是減少使用者態和核心態的切換次數以及CPU拷貝的次數。

這裡，僅僅有針對性的來談談幾種常見的零拷貝技術。

mmap+write

mmap+write簡單來說就是使用mmap替換了read+write中的read操作，減少了一次CPU的拷貝。

mmap主要實現方式是將讀緩衝區的地址和使用者緩衝區的地址進行對映，核心緩衝區和應用緩衝區共享，從而減少了從讀緩衝區到使用者緩衝區的一次CPU拷貝。

整個過程發生了4次使用者態和核心態的上下文切換和3次拷貝，具體流程如下：

  1. 使用者程式通過mmap()方法向作業系統發起呼叫，上下文從使用者態轉向核心態
  2. DMA控制器把資料從硬碟中拷貝到讀緩衝區
  3. 上下文從核心態轉為使用者態，mmap呼叫返回
  4. 使用者程式通過write()方法發起呼叫，上下文從使用者態轉為核心態
  5. CPU將讀緩衝區中資料拷貝到socket緩衝區
  6. DMA控制器把資料從socket緩衝區拷貝到網路卡，上下文從核心態切換回使用者態，write()返回

mmap的方式節省了一次CPU拷貝，同時由於使用者程式中的記憶體是虛擬的，只是對映到核心的讀緩衝區，所以可以節省一半的記憶體空間，比較適合大檔案的傳輸。

sendfile

相比mmap來說，sendfile同樣減少了一次CPU拷貝，而且還減少了2次上下文切換。

sendfile是Linux2.1核心版本後引入的一個系統呼叫函式，通過使用sendfile資料可以直接在核心空間進行傳輸，因此避免了使用者空間和核心空間的拷貝，同時由於使用sendfile替代了read+write從而節省了一次系統呼叫，也就是2次上下文切換。

整個過程發生了2次使用者態和核心態的上下文切換和3次拷貝，具體流程如下：

  1. 使用者程式通過sendfile()方法向作業系統發起呼叫，上下文從使用者態轉向核心態
  2. DMA控制器把資料從硬碟中拷貝到讀緩衝區
  3. CPU將讀緩衝區中資料拷貝到socket緩衝區
  4. DMA控制器把資料從socket緩衝區拷貝到網路卡，上下文從核心態切換回使用者態，sendfile呼叫返回

sendfile方法IO資料對使用者空間完全不可見，所以只能適用於完全不需要使用者空間處理的情況，比如靜態檔案伺服器。

sendfile+DMA Scatter/Gather

Linux2.4核心版本之後對sendfile做了進一步優化，通過引入新的硬體支援，這個方式叫做DMA Scatter/Gather 分散/收集功能。

它將讀緩衝區中的資料描述資訊--記憶體地址和偏移量記錄到socket緩衝區，由 DMA 根據這些將資料從讀緩衝區拷貝到網路卡，相比之前版本減少了一次CPU拷貝的過程

整個過程發生了2次使用者態和核心態的上下文切換和2次拷貝，其中更重要的是完全沒有CPU拷貝，具體流程如下：

  1. 使用者程式通過sendfile()方法向作業系統發起呼叫，上下文從使用者態轉向核心態
  2. DMA控制器利用scatter把資料從硬碟中拷貝到讀緩衝區離散儲存
  3. CPU把讀緩衝區中的檔案描述符和資料長度傳送到socket緩衝區
  4. DMA控制器根據檔案描述符和資料長度，使用scatter/gather把資料從核心緩衝區拷貝到網路卡
  5. sendfile()呼叫返回，上下文從核心態切換回使用者態

DMA gather和sendfile一樣資料對使用者空間不可見，而且需要硬體支援，同時輸入檔案描述符只能是檔案，但是過程中完全沒有CPU拷貝過程，極大提升了效能。

應用場景

對於文章開頭說的兩個場景：RocketMQ和Kafka都使用到了零拷貝的技術。

對於MQ而言，無非就是生產者傳送資料到MQ然後持久化到磁碟，之後消費者從MQ讀取資料。

對於RocketMQ來說這兩個步驟使用的是mmap+write，而Kafka則是使用mmap+write持久化資料，傳送資料使用sendfile。

總結

由於CPU和IO速度的差異問題，產生了DMA技術，通過DMA搬運來減少CPU的等待時間。

傳統的IOread+write方式會產生2次DMA拷貝+2次CPU拷貝，同時有4次上下文切換。

而通過mmap+write方式則產生2次DMA拷貝+1次CPU拷貝，4次上下文切換，通過記憶體對映減少了一次CPU拷貝，可以減少記憶體使用，適合大檔案的傳輸。

sendfile方式是新增的一個系統呼叫函式，產生2次DMA拷貝+1次CPU拷貝，但是隻有2次上下文切換。因為只有一次呼叫，減少了上下文的切換，但是使用者空間對IO資料不可見，適用於靜態檔案伺服器。

sendfile+DMA gather方式產生2次DMA拷貝，沒有CPU拷貝，而且也只有2次上下文切換。雖然極大地提升了效能，但是需要依賴新的硬體裝置支援。

參考：

https://juejin.cn/post/6844903949359644680#heading-19

https://www.cnblogs.com/xiaolincoding/p/13719610.html

https://time.geekbang.org/column/article/118657

https://www.toutiao.com/i6898240850917114380/

相關文章