Linux:保證資料安全落盤
在很多IO場景中,我們經常需要確保資料已經安全的寫到磁碟上,以便在系統當機重啟之後還能讀到這些資料。但是我們都知道,
的IO路徑還是很複雜的,分為很多層,每一層都可能會有buffer來加速IO讀寫。同時,使用者態的應用程式和庫函式也可能擁有自己的buffer,這又給IO路徑增加了一些複雜性。可見,要想保證資料安全的寫到磁碟上,並不是簡單調一個write/fwrite就可以搞定的。
那麼要怎麼做呢?很多人會想到很多辦法,比如:fflush()、fsync()、fdatasync()、sync()、open()使用O_DIRECT或O_SYNC標誌等。嗯,這些手段(或者某些組合)的確可以保證資料安全的持久化,那麼它們之間有什麼區別呢?fflush()和fsync()有啥區別?O_DIRECT是啥意思,它可以保證資料安全的持久化嗎?O_DIRECT和O_SYNC區別什麼?O_SYNC和fsync()呢?fsync能完成msync的功能嗎?本文將試圖理解、解釋這些概念的作用和區別。
所謂一圖勝千言,為了解析清楚這些概念的區別,我特意畫了一張圖,仔細看,應該可以清晰的看出它們的作用和區別。
這裡重點說一下O_DIRECT和O_SYNC,首先要明確的是,O_DIRECT只是說資料不會經過page cache(一般用在使用者態自己管理buffer)而是直接提交給塊裝置層,但是不會同步等待資料安全寫入磁碟之後才返回(比如資料可能還在塊層排隊或者在磁碟自己的cache中)。而O_SYNC標誌,雖然資料還是會寫page cache,但是此時會採用write through的策略,並同步等待資料安全寫入磁碟後才會返回。因此如果同時使用O_DIRECT和O_SYNC,則表示資料不會經過page cache並同步等待資料安全寫入磁碟才返回,當然這樣IO的效能會非常低下。
由於O_DIRECT會bypass page cache,因此如果有另一個程式使用普通的方式讀檔案,有可能會出現資料不一致的現象,這個也需要注意。
為了做一下輔助說明,此處我貼一下我探討過程中看過的一些資料。首先是引用open系統呼叫:
相關引數的說明:
以及innodb相關的文件:
fsync和fdatasync的區別:
msync:
其實還有一種IO模式,就是DAX(Direct Access ),是不是看上去和O_DIRECT很像。這種模式需要filesystem和block driver都支援才可以,一般主要用在non volatile memory上,本質上也是繞過page cache直接操作裝置。DAX本文先不做深入探討,後面我會自己寫一個支援DAX模式的ramdisk塊裝置驅動,然後格式化為ext4檔案系統並-o dax模式掛載,再來詳細研究DAX的IO路徑。
最後附上Linux在常見場景下的io路徑跟蹤:
https://my.oschina.net/fileoptions/blog/3061822
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31559985/viewspace-2650187/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Linux系統:保證資料安全落盤Linux
- 遠端辦公如何保證資料安全?
- HTTPS 如何保證資料傳輸安全HTTP
- 如何用第三層交換保證資料安全
- 如何保證Linux伺服器的安全Linux伺服器
- HTTPS是怎麼保證資料安全傳輸的?HTTP
- 【北亞資料恢復】LINUX執行FSCK之前需要做哪些準備才能保證資料安全?資料恢復Linux
- 《個人資訊保護法》正式實施,企業如何保證資料安全合規?
- 前後端API互動如何保證資料安全性?後端API
- 保證資料庫質量安全:從0開始的資料庫測試資料庫
- WEBAPI怎麼保證安全WebAPI
- 雲資料安全:SQL Azure資料保護RVSQL
- 資料安全與PostgreSQL:保護策略SQL
- 保護資料庫的安全(二)資料庫
- 保護資料庫的安全(一)資料庫
- 保護Oracle資料庫的安全Oracle資料庫
- Elasticsearch如何保證資料不丟失?Elasticsearch
- volatile足以保證資料同步嗎
- RSA創新沙盒盤點|Dasera——全生命週期保護雲上資料安全
- 如何保證MongoDB的安全性?MongoDB
- 如何保證Web伺服器安全Web伺服器
- 保證網路安全有哪些方式?
- 如何保證無線網路安全
- 解讀《資料安全法》,開啟資料安全保護“新思路”
- 大資料安全與隱私保護大資料
- 如何保護PostgreSQL資料庫安全? | goteleportSQL資料庫Go
- Flutter 保護你的APP資料安全FlutterAPP
- CRM如何保護企業資料安全?
- CRM如何保護客戶資料安全?
- 只需5項,教你保護資料安全!
- 保護資料安全的三種武器
- orale 保護資料安全高可用方法
- 【北亞資料恢復】如何保證LINUX執行FSCK後的資料不出問題?資料恢復Linux
- Oracle Goldengate是如何保證資料有序和確保資料不丟失的?OracleGo
- Redis能保證資料不丟失嗎?Redis
- 一文看懂https如何保證資料傳輸的安全性的HTTP
- 安全專家:Twitter安全性落後應採用雙重認證
- 如何全面保護AI資料隱私和資料安全?AI