Linux系統：保證資料安全落盤

在很多IO場景中，我們經常需要確保資料已經安全的寫到磁碟上，以便在系統當機重啟之後還能讀到這些資料。但是我們都知道， 的IO路徑還是很複雜的，分為很多層，每一層都可能會有buffer來加速IO讀寫。同時，使用者態的應用程式和庫函式也可能擁有自己的buffer，這又給IO路徑增加了一些複雜性。可見，要想保證資料安全的寫到磁碟上，並不是簡單調一個write/fwrite就可以搞定的。
那麼要怎麼做呢？很多人會想到很多辦法，比如：fflush()、fsync()、fdatasync()、sync()、open()使用O_DIRECT或O_SYNC標誌等。嗯，這些手段（或者某些組合）的確可以保證資料安全的持久化，那麼它們之間有什麼區別呢？fflush()和fsync()有啥區別？O_DIRECT是啥意思，它可以保證資料安全的持久化嗎？O_DIRECT和O_SYNC區別什麼？O_SYNC和fsync()呢？fsync能完成msync的功能嗎？本文將試圖理解、解釋這些概念的作用和區別。

所謂一圖勝千言，為了解析清楚這些概念的區別，我特意畫了一張圖，仔細看，應該可以清晰的看出它們的作用和區別。

這裡重點說一下O_DIRECT和O_SYNC，首先要明確的是，O_DIRECT只是說資料不會經過page cache（一般用在使用者態自己管理buffer）而是直接提交給塊裝置層，但是不會同步等待資料安全寫入磁碟之後才返回（比如資料可能還在塊層排隊或者在磁碟自己的cache中）。而O_SYNC標誌，雖然資料還是會寫page cache，但是此時會採用write through的策略，並同步等待資料安全寫入磁碟後才會返回。因此如果同時使用O_DIRECT和O_SYNC，則表示資料不會經過page cache並同步等待資料安全寫入磁碟才返回，當然這樣IO的效能會非常低下。
由於O_DIRECT會bypass page cache，因此如果有另一個程式使用普通的方式讀檔案，有可能會出現資料不一致的現象，這個也需要注意。
為了做一下輔助說明，此處我貼一下我探討過程中看過的一些資料。首先是引用open系統呼叫：

相關引數的說明：

以及innodb相關的文件：


fsync和fdatasync的區別：


msync:

其實還有一種IO模式，就是DAX（Direct Access ），是不是看上去和O_DIRECT很像。這種模式需要filesystem和block driver都支援才可以，一般主要用在non volatile memory上，本質上也是繞過page cache直接操作裝置。DAX本文先不做深入探討，後面我會自己寫一個支援DAX模式的ramdisk塊裝置驅動，然後格式化為ext4檔案系統並-o dax模式掛載，再來詳細研究DAX的IO路徑。
最後附上Linux在常見場景下的io路徑跟蹤：
https://my.oschina.net/fileoptions/blog/3061822