Linux中檔案/檔案系統的壓縮、打包和備份總結(基於rhel7)

randy198 發表於 2022-05-13
Linux

檔案/檔案系統的壓縮、打包

Linux有哪些壓縮工具可供選擇

按壓縮比:xz>bzip2>gzip,按壓縮時長:gzip>bzip2>xz,另外還有zip可以選擇。

gzip只負責壓縮沒有打包功能,所以常常和打包工具tar聯用,如果單獨用gzip要注意兩點:①只能對單個檔案進行壓縮;②預設用壓縮後的檔案替換原來的檔案

我該如何選擇這些壓縮工具?

這確實是個問題,最優解的壓縮工具需要不斷的嘗試,而且每個人使用壓縮工具的目的不甚相同。

比如,經常不讀的伺服器日誌檔案,我們就希望儘可能地把它壓縮得小一點。如果只考慮體積,自然要選擇壓縮比較高的工具。但如果我們希望在擁有較小體積的同時還能夠用更短的時間完成壓縮,我們可能就要選擇更厲害的程式,同時用更高的算力提供支援。

如果只是一般應用,我覺得gzip和tar命令連用完全能夠滿足大多數需求。

Linux打包命令tar

打包並壓縮:tar -cvzf filename.tar.gz

查詢包中的檔案:tar -vtzf filename.tar.gz

解壓縮 tar -xzvf filename.tar.gz  # 解壓縮後的檔案放在哪取決於你當前的工作目錄。如果你不想在工作目錄下解壓縮檔案請用 -C引數指定解壓縮的路徑!

強烈建議 -f引數放在最後,如果是不太熟悉tar命令的朋友甚至可以把 -f引數與之前的幾個引數分開寫,如:tar -cvz -f  filename.tar.gz 因為系統會認為-f後面接的是要使用的檔名,如果把引數f放在前面,有可能會造成檔名設定不正確的情況。

 

XFS 檔案系統的備份與還原

xfsdump和xfsrestore

xfsdump -f filename.dump dir[filesystem]

xfsrestore -f filename.dump 恢復出來的檔案所放路徑

這兩個工具一個負責備份一個負責還原。

xfsdump預設只對整個檔案系統(你可以把它看成整個分割槽,但這種說法並不嚴謹)進行備份,但可以追加 -s 引數指定備份某個目錄(相對路徑)或檔案。xfsrestore想恢復多個檔案或目錄可以追加 -i 引數通過互動模式將指定的檔案或路徑釋放到指定的目錄。

備份/boot/grub2這個目錄,如不指定備份級別系統預設level 0(全量備份)

[[email protected]_rhel tmp]# xfsdump -f /backups/grub2.dump -l 0 /boot -s grub2  # grub2後面不要加斜槓,否則會報錯提示你給的不是相對路徑
xfsdump: using file dump (drive_simple) strategy
xfsdump: version 3.1.3 (dump format 3.0) - type ^C for status and control

 ============================= dump label dialog ==============================

please enter label for this dump session (timeout in 300 sec)
 -> grub2-bak
session label entered: "grub2-bak"

 --------------------------------- end dialog ---------------------------------

……略……

 ============================= media label dialog =============================

please enter label for media in drive 0 (timeout in 300 sec)
 -> grub2-bak
media label entered: "grub2-bak"

 --------------------------------- end dialog ---------------------------------

……
xfsdump: dump complete: 13 seconds elapsed
xfsdump: Dump Summary:
xfsdump:   stream 0 /backups/grub2.dump OK (success)
xfsdump: Dump Status: SUCCESS
[[email protected]_rhel tmp]# ll /backups/
total 7996
-rw-r--r--. 1 root root 8184936 May 12 16:47 grub2.dump

這兩個命令有以下限制:

  • 只支援xfs系統
  • 只能在已掛載的檔案系統上進行操作
  • 只能以root使用者身份操作

它們的特點是支援增量備份(但在建立增備之前需要有至少一個全量備份),增備的好處和劣勢都顯而易見。

  • 好處:一次全量備份後,每次增備的資料量都不會太大,縮短了備份時間,減小了備份體積。
  • 劣勢:恢復資料時,需要按順序先恢復全量備份,再由遠及近按順序恢復增備1、增備2……恢復資料比較麻煩。

然而這種劣勢可以通過定期的全量備份緩解,比如一個星期定期全量備份一次,在兩次全量備份之間用增量備份。

已知的問題:我不知道與xfsdump相關的備份刪除工具,只能通過rm命令刪除備份檔案,造成xfsdump備份時寫入/var/lib/xfsdump/inventory的資訊無法同步更新,輸入xfsdump -I 仍舊能夠看到已不存在的備份資訊。誰知道這個問題該怎麼規避希望不吝賜教!

dd命令

dd if="input_file" of="output_file" bs="block_size" count="number"

dd是一個非常有意思的命令,它預設是一個扇區一個扇區讀寫的。如果用它來備份一個檔案系統,它會把沒有用到的扇區也讀取寫入備份中,這就會使備份的檔案和原來的檔案一模一樣。這種“忠實”使得它可以不考慮檔案系統,讀到什麼就寫什麼。

觀察/dev/sda1檔案系統大小(其實就掛載在/boot目錄上),在虛擬機器中新新增一個硬碟/dev/sdb,容量不小於前者的大小,用dd將/sda1完整地備份至新硬碟中

[[email protected]_rhel Desktop]# df -h
Filesystem             Size  Used Avail Use% Mounted on
/dev/mapper/rhel-root   18G  3.6G   14G  21% /
……
/dev/sda1              497M  129M  369M  26% /boot
……

……新增一塊硬碟,大小1G,裝置檔名稱/dev/sdb……

[[email protected]_rhel Desktop]# dd if=/dev/sda1 of=/dev/sdb
1024000+0 records in
1024000+0 records out
524288000 bytes (524 MB) copied, 11.3339 s, 46.3 MB/s    # 這個新硬碟事先沒有分割槽、格式化或掛載,竟然可以直接寫入,神奇!
[[email protected]_rhel Desktop]# xfs_repair -L /dev/sdb
Phase 1 - find and verify superblock...
Phase 2 - using internal log
……
Phase 7 - verify and correct link counts...
done
[[email protected]_rhel Desktop]# uuidgen
4809b0ee-d934-4bdb-a901-f0fd82d0d049
[[email protected]_rhel Desktop]# xfs_admin -U 4809b0ee-d934-4bdb-a901-f0fd82d0d049 /dev/sdb    # dd命令把所有資料原原本本的複製過來,甚至包括檔案系統的UUID!為了不造成衝突,我們需要生成新的UUID給這個硬碟使用
Clearing log and setting UUID
writing all SBs
new UUID = 4809b0ee-d934-4bdb-a901-f0fd82d0d04
[[email protected]_rhel Desktop]# mount /dev/sdb /backups/
[[email protected]_rhel Desktop]# df -h
Filesystem             Size  Used Avail Use% Mounted on
……
/dev/sda1              497M  129M  369M  26% /boot
/dev/sdb               497M  129M  369M  26% /backups    # 兩者一模一樣,但新硬碟是1G大小啊,怎麼回事?
[[email protected]_rhel Desktop]# parted /dev/sdb print    # parted讀到的資訊沒有錯
Model: VMware, VMware Virtual S (scsi)
Disk /dev/sdb: 1074MB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags: 

Number  Start  End     Size    File system  Flags
 1      0.00B  1074MB  1074MB  xfs
[[email protected]_rhel Desktop]# xfs_growfs /backups/    # 把檔案系統放大就不會出現上面的問題了
meta-data=/dev/sdb               isize=256    agcount=4, agsize=32000 blks
……
data blocks changed from 128000 to 262144
[[email protected]_rhel Desktop]# df -h /boot /backups/
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       497M  129M  369M  26% /boot
/dev/sdb       1021M  129M  893M  13% /backups

最後的tips:檔案的字尾名對於Linux系統來說沒任何意義,但對人來說是有意義的。我們可以根據檔案的字尾名瞭解檔案是什麼型別的,該用什麼命令對這個檔案進行操作。

比如,tar.gz告訴我們這個包是用tar命令生成並用gzip壓縮的,解壓縮的時候一定要選用正確的程式,否則就會出錯。