Linux 刪除大量小檔案的兩種方案 | 運維進階

Linksla發表於2023-09-28
Linux運維

【摘要】Linux如何刪除大量小檔案？本文介紹了兩種方法。

【作者】趙靖宇

環境：

RHEL 6.5 + Oracle 11.2.0.4

需求：

使用df -i巡檢發現Inodes使用率過高，需要清理刪除檔案來解決。如果Inodes滿，該目錄將不能寫，即使df -h檢視還有剩餘空間。

1.問題現象

Oracle的adump下記錄的是sys的登陸審計資訊，特點是小碎檔案非常多，經常會遇到使用rm -rf *命令刪除不了，報錯-bash: /bin/rm: Argument list too long。

這是因為萬用字元*在執行時會替換為具體的檔名，例如rm -rf file1 file2 file3 ...，如果檔案數量過多，就容易出現這個錯誤。

比如在下面的環境中，adump目錄下檔案已達到114萬+，執行rm -rf *命令時就會報這個錯誤：

    [oracle@jystdrac2 adump]$ pwd/opt/app/oracle/admin/crmdb/adump[oracle@jystdrac2 adump]$ ls|wc -l1149787[oracle@jystdrac2 adump]$ rm -rf *-bash: /bin/rm: Argument list too long[oracle@jystdrac2 adump]$ du -sh4.4G

    2.解決方案

    清楚了問題現象，解決方案就從除去rm -rf *命令的方式之外，還有哪些方法可用，如果透過網路搜尋，可能會找到結合find命令再去執行rm的方式，但其實效率非常差，具體寫法這裡就不列出了，因為我們通常也不會這樣處理。那麼如何較為效率的刪除大批小檔案呢？結合網路的經驗，並實測驗證，最終總結了兩種常見的解決方案，效率上也都尚可。

    方案一：巧用rsync的方式達到刪除目的

    建立一個空資料夾，使用rsync --delete-before -d <空資料夾> <需要清理刪除小檔案的目錄>命令最終達到刪除大批小檔案的目的。下面演示具體操作：

      [oracle@jystdrac2 adump]$ mkdir /data/null[oracle@jystdrac2 adump]$ ls -l /data/nulltotal 0[oracle@jystdrac2 ~]$ nohup rsync --delete-before -d /data/null/ /opt/app/oracle/admin/crmdb/adump/ &

      使用man rsync檢視rsync命令相關的引數說明如下：

        -d, --dirs                  transfer directories without recursing--delete-before         receiver deletes before transfer (default)

        方案二：使用find命令的delete引數

        使用find <需要清理刪除小檔案的目錄> -type f -delete命令直接刪除大批小檔案。

        使用man find檢視find命令相關的引數說明如下：

                 -type c              File is of type c:               b      block (buffered) special               c      character (unbuffered) special               d      directory               p      named pipe (FIFO)               f      regular file               l      symbolic  link; this is never true if the -L option or the -follow option is in effect, unless the symbolic link is broken.  If you want to                     search for symbolic links when -L is in effect, use -xtype.               s      socket               D      door (Solaris)        -delete              Delete files; true if removal succeeded.  If the removal failed, an error message is issued.  If -delete fails, find’s exit status will be nonzero              (when it eventually exits).  Use of -delete automatically turns on the ‘-depth’ option.               Warnings:  Don’t forget that the find command line is evaluated as an expression, so putting -delete first will make find try to delete everything              below the starting points you specified.  When testing a find command line that you later intend to use with -delete, you should explicitly  spec-              ify -depth in order to avoid later surprises.  Because -delete implies -depth, you cannot usefully use -prune and -delete together.

          下面演示具體操作： 

            [oracle@jystdrac1 adump]$ nohup find /opt/app/oracle/admin/crmdb/adump/ -type f -delete &

            可以參考下面的命令來簡單監控刪除過程中Inodes使用率的變化：

              while true; do df -i /; sleep 10; done

              比如我這裡節點jystdrac1使用的find方法，節點jystdrac2使用的rsync方法，實際觀察Inodes釋放速度區別並不大：

                

# 使用的find方法，觀察Inodes釋放速度：

[
oracle@jystdrac1 ~]$ 
while 
true; 
do df -i /; sleep 
10; done

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1519124 
287772   
85% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1519015 
287881   
85% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1513880 
293016   
84% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1511132 
295764   
84% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1502434 
304462   
84% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1494583 
312313   
83% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1489111 
317785   
83% /

Filesystem                        Inodes   IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
1487629 
319267   
83% /



                


# 使用的rsync方法，觀察Inodes釋放速度：

[
oracle@jystdrac2 ~]$ 
while 
true; 
do df -i /; sleep 
10; done

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
963029 
843867   
54% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
955037 
851859   
53% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
953088 
853808   
53% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
950523 
856373   
53% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
948754 
858142   
53% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
944613 
862283   
53% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
942619 
864277   
53% /

Filesystem                        Inodes  IUsed  IFree IUse% Mounted 
on

/dev/mapper/vg_linuxbase-lv_root 
1806896 
938510 
868386   
52% /

                既然兩種方式差異不算大，那就根據需求或個人習慣選擇即可。我自己更傾向於使用方案二，因為這樣無需建立空目錄，操作上也更直觀。

                最後再總結下刪除大量小檔案的方法：

                  # 方案一：mkdir <空資料夾>rsync --delete-before -d <空資料夾> <需要清理刪除小檔案的目錄># 方案二：find <需要清理刪除小檔案的目錄> -type f -delete

                  相對來說這兩種方式都比較效率，但由於整體小檔案也是比較多，所以實際可以選擇nohup放到後臺執行。

                  原題：Linux如何刪除大量小檔案


                  來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/70013542/viewspace-2986459/，如需轉載，請註明出處，否則將追究法律責任。

                  相關文章