Linux EXT4檔案系統介紹
Linux kernel 自 2.6.28 開始正式支援新的檔案系統 Ext4。 Ext4 是 Ext3 的改進版,修改了 Ext3 中部分重要的資料結構,而不僅僅像 Ext3 對 Ext2 那樣,只是增加了一個日誌功能而已。Ext4 可以提供更佳的效能和可靠性,還有更為豐富的功能:
1. 與 Ext3 相容。執行若干條命令,就能從 Ext3 線上遷移到 Ext4,而無須重新格式化磁碟或重新安裝系統。原有 Ext3 資料結構照樣保留,Ext4 作用於新資料,當然,整個檔案系統因此也就獲得了 Ext4 所支援的更大容量。
2. 更大的檔案系統和更大的檔案。較之 Ext3 目前所支援的最大 16TB 檔案系統和最大 2TB 檔案,Ext4 分別支援 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的檔案系統,以及 16TB 的檔案。
3. 無限數量的子目錄。Ext3 目前只支援 32,000 個子目錄,而 Ext4 支援無限數量的子目錄。
4. Extents。Ext3 採用間接塊對映,當操作大檔案時,效率極其低下。比如一個 100MB 大小的檔案,在 Ext3 中要建立 25,600 個資料塊(每個資料塊大小為 4KB)的對映表。而 Ext4 引入了現代檔案系統中流行的 extents 概念,每個 extent 為一組連續的資料塊,上述檔案則表示為“該檔案資料儲存在接下來的 25,600 個資料塊中”,提高了不少效率。
5. 多塊分配。當寫入資料到 Ext3 檔案系統中時,Ext3 的資料塊分配器每次只能分配一個 4KB 的塊,寫一個 100MB 檔案就要呼叫 25,600 次資料塊分配器,而 Ext4 的多塊分配器“multiblock allocator”(mballoc) 支援一次呼叫分配多個資料塊。
6. 延遲分配。Ext3 的資料塊分配策略是儘快分配,而 Ext4 和其它現代檔案作業系統的策略是儘可能地延遲分配,直到檔案在 cache 中寫完才開始分配資料塊並寫入磁碟,這樣就能優化整個檔案的資料塊分配,與前兩種特性搭配起來可以顯著提升效能。
7. 快速 fsck。以前執行 fsck 第一步就會很慢,因為它要檢查所有的 inode,現在 Ext4 給每個組的 inode 表中都新增了一份未使用 inode 的列表,今後 fsck Ext4 檔案系統就可以跳過它們而只去檢查那些在用的 inode 了。
8. 日誌校驗。日誌是最常用的部分,也極易導致磁碟硬體故障,而從損壞的日誌中恢復資料會導致更多的資料損壞。Ext4 的日誌校驗功能可以很方便地判斷日誌資料是否損壞,而且它將 Ext3 的兩階段日誌機制合併成一個階段,在增加安全性的同時提高了效能。
9. “無日誌”(No Journaling)模式。日誌總歸有一些開銷,Ext4 允許關閉日誌,以便某些有特殊需求的使用者可以藉此提升效能。
10. 線上碎片整理。儘管延遲分配、多塊分配和 extents 能有效減少檔案系統碎片,但碎片還是不可避免會產生。Ext4 支援線上碎片整理,並將提供 e4defrag 工具進行個別檔案或整個檔案系統的碎片整理。
11. inode 相關特性。Ext4 支援更大的 inode,較之 Ext3 預設的 inode 大小 128 位元組,Ext4 為了在 inode 中容納更多的擴充套件屬性(如納秒時間戳或 inode 版本),預設 inode 大小為 256 位元組。Ext4 還支援快速擴充套件屬性(fast extended attributes)和 inode 保留(inodes reservation)。
12. 持久預分配(Persistent preallocation)。P2P 軟體為了保證下載檔案有足夠的空間存放,常常會預先建立一個與所下載檔案大小相同的空檔案,以免未來的數小時或數天之內磁碟空間不足導致下載失敗。 Ext4 在檔案系統層面實現了持久預分配並提供相應的 API(libc 中的 posix_fallocate()),比應用軟體自己實現更有效率。
13. 預設啟用 barrier。磁碟上配有內部快取,以便重新調整批量資料的寫操作順序,優化寫入效能,因此檔案系統必須在日誌資料寫入磁碟之後才能寫 commit 記錄,若 commit 記錄寫入在先,而日誌有可能損壞,那麼就會影響資料完整性。Ext4 預設啟用 barrier,只有當 barrier 之前的資料全部寫入磁碟,才能寫 barrier 之後的資料。(可通過 "mount -o barrier=0" 命令禁用該特性。)
Ext4 隨 Linux kernel 2.6.28 正式釋出已有數週,一直苦於找不到測試用的磁碟,正巧年前 Intel 送來幾塊 SSD 測試樣品,這兩天就順帶把 SSD 也測了。測試所使用的 Linux 核心版本為 2.6.28.2,測試工具為 IOzone 3.318。
測試結果除了表明 Intel SSD 的讀寫速度快得令人咋舌之外,還可以說明 Ext4 的各方面效能都超過了上一代 Ext3,甚至在大多數情況下,比沒有日誌功能的 Ext2 還要快出不少:
1. 與 Ext3 相容。執行若干條命令,就能從 Ext3 線上遷移到 Ext4,而無須重新格式化磁碟或重新安裝系統。原有 Ext3 資料結構照樣保留,Ext4 作用於新資料,當然,整個檔案系統因此也就獲得了 Ext4 所支援的更大容量。
2. 更大的檔案系統和更大的檔案。較之 Ext3 目前所支援的最大 16TB 檔案系統和最大 2TB 檔案,Ext4 分別支援 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的檔案系統,以及 16TB 的檔案。
3. 無限數量的子目錄。Ext3 目前只支援 32,000 個子目錄,而 Ext4 支援無限數量的子目錄。
4. Extents。Ext3 採用間接塊對映,當操作大檔案時,效率極其低下。比如一個 100MB 大小的檔案,在 Ext3 中要建立 25,600 個資料塊(每個資料塊大小為 4KB)的對映表。而 Ext4 引入了現代檔案系統中流行的 extents 概念,每個 extent 為一組連續的資料塊,上述檔案則表示為“該檔案資料儲存在接下來的 25,600 個資料塊中”,提高了不少效率。
5. 多塊分配。當寫入資料到 Ext3 檔案系統中時,Ext3 的資料塊分配器每次只能分配一個 4KB 的塊,寫一個 100MB 檔案就要呼叫 25,600 次資料塊分配器,而 Ext4 的多塊分配器“multiblock allocator”(mballoc) 支援一次呼叫分配多個資料塊。
6. 延遲分配。Ext3 的資料塊分配策略是儘快分配,而 Ext4 和其它現代檔案作業系統的策略是儘可能地延遲分配,直到檔案在 cache 中寫完才開始分配資料塊並寫入磁碟,這樣就能優化整個檔案的資料塊分配,與前兩種特性搭配起來可以顯著提升效能。
7. 快速 fsck。以前執行 fsck 第一步就會很慢,因為它要檢查所有的 inode,現在 Ext4 給每個組的 inode 表中都新增了一份未使用 inode 的列表,今後 fsck Ext4 檔案系統就可以跳過它們而只去檢查那些在用的 inode 了。
8. 日誌校驗。日誌是最常用的部分,也極易導致磁碟硬體故障,而從損壞的日誌中恢復資料會導致更多的資料損壞。Ext4 的日誌校驗功能可以很方便地判斷日誌資料是否損壞,而且它將 Ext3 的兩階段日誌機制合併成一個階段,在增加安全性的同時提高了效能。
9. “無日誌”(No Journaling)模式。日誌總歸有一些開銷,Ext4 允許關閉日誌,以便某些有特殊需求的使用者可以藉此提升效能。
10. 線上碎片整理。儘管延遲分配、多塊分配和 extents 能有效減少檔案系統碎片,但碎片還是不可避免會產生。Ext4 支援線上碎片整理,並將提供 e4defrag 工具進行個別檔案或整個檔案系統的碎片整理。
11. inode 相關特性。Ext4 支援更大的 inode,較之 Ext3 預設的 inode 大小 128 位元組,Ext4 為了在 inode 中容納更多的擴充套件屬性(如納秒時間戳或 inode 版本),預設 inode 大小為 256 位元組。Ext4 還支援快速擴充套件屬性(fast extended attributes)和 inode 保留(inodes reservation)。
12. 持久預分配(Persistent preallocation)。P2P 軟體為了保證下載檔案有足夠的空間存放,常常會預先建立一個與所下載檔案大小相同的空檔案,以免未來的數小時或數天之內磁碟空間不足導致下載失敗。 Ext4 在檔案系統層面實現了持久預分配並提供相應的 API(libc 中的 posix_fallocate()),比應用軟體自己實現更有效率。
13. 預設啟用 barrier。磁碟上配有內部快取,以便重新調整批量資料的寫操作順序,優化寫入效能,因此檔案系統必須在日誌資料寫入磁碟之後才能寫 commit 記錄,若 commit 記錄寫入在先,而日誌有可能損壞,那麼就會影響資料完整性。Ext4 預設啟用 barrier,只有當 barrier 之前的資料全部寫入磁碟,才能寫 barrier 之後的資料。(可通過 "mount -o barrier=0" 命令禁用該特性。)
Ext4 隨 Linux kernel 2.6.28 正式釋出已有數週,一直苦於找不到測試用的磁碟,正巧年前 Intel 送來幾塊 SSD 測試樣品,這兩天就順帶把 SSD 也測了。測試所使用的 Linux 核心版本為 2.6.28.2,測試工具為 IOzone 3.318。
測試結果除了表明 Intel SSD 的讀寫速度快得令人咋舌之外,還可以說明 Ext4 的各方面效能都超過了上一代 Ext3,甚至在大多數情況下,比沒有日誌功能的 Ext2 還要快出不少:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/241379/viewspace-702612/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Linux Ext4檔案系統的優點介紹Linux
- Linux 檔案系統基本介紹Linux
- Linux 檔案系統-ext3 檔案系統介紹(轉)Linux
- 檔案系統(十一):Linux Squashfs只讀檔案系統介紹Linux
- 『學了就忘』Linux檔案系統管理 — 57、Linux檔案系統介紹Linux
- 檔案系統(六):一文看懂linux ext4檔案系統工作原理Linux
- Linux快速入門(05)Linux檔案系統介紹Linux
- 深入理解 ext4 等 Linux 檔案系統Linux
- 簡單介紹一下 Linux 檔案系統?Linux
- ros學習檔案系統介紹ROS
- ext4檔案系統的優化優化
- fsck-Linux檔案系統檢查工具介紹(轉)Linux
- 幾個重要的Linux系統核心檔案介紹(zt)Linux
- Linux檔案系統簡介Linux
- 簡單瞭解EXT4檔案系統
- Ext4檔案系統有望內建加密加密
- Linux下如何選擇檔案系統:EXT4、Btrfs 和 XFSLinux
- 新版加強Linux檔案系統Ext4即將推出(轉)Linux
- 恢復ext4檔案系統被誤刪的檔案
- FASTDFS開源分散式檔案系統介紹AST分散式
- 主題:Linux檔案系統簡介Linux
- i.MX6ULL終結者Linux檔案系統的構建根檔案系統目錄介紹Linux
- EXT4檔案系統學習(12)VFS之檔案系統物件file_system_type物件
- 『學了就忘』Linux檔案系統管理 — 63、磁碟配額介紹Linux
- Linux檔案系統損壞後的修復技巧詳細介紹Linux
- oracle dbfs檔案系統介紹及使用測試Oracle
- 【iOS資料儲存】iOS檔案系統介紹iOS
- 檔案系統 FTP Ubuntu 安裝入門介紹FTPUbuntu
- Linux系統中檔案被刪除後的恢復方法(ext4)Linux
- linux常用叢集檔案系統簡介Linux
- Linux系統調優介紹Linux
- linux作業系統介紹Linux作業系統
- EXT4檔案系統學習(15)VFS之VFS 檔案/目錄物件物件
- Linux EXT4檔案系統TF卡空間容量顯示和計算Linux
- Macbook磁碟系統結構/檔案/目錄介紹分析Mac
- EXT4檔案系統學習(14)VFS之VFS inode
- 【檔案系統】嵌入式檔案系統Fatfs簡介
- Linux系統篇-檔案系統&虛擬檔案系統Linux