索引節點(inode)爆滿問題處理

散盡浮華發表於2016-06-12

 

關於磁碟空間中索引節點爆滿的問題還是挺多的,藉此跟大家分享幾個情況:

情況一

在公司一臺配置較低的Linux伺服器(記憶體、硬碟比較小)的/data分割槽內建立檔案時,系統提示磁碟空間不足,用df -h命令檢視了一下磁碟使用情況,發現/data分割槽只使用了66%,還有12G的剩餘空間,按理說不會出現這種問題。

後來用df -i檢視了一下/data分割槽的索引節點(inode),發現已經用滿(IUsed=100%),導致系統無法建立新目錄和檔案。
[root@bastion-IDC ~]# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
.......
.......
/dev/mapper/VolGroup-lv_home
53452800 53452800 0 100% /data

inode譯成中文就是索引節點,每個儲存裝置(例如硬碟)或儲存裝置的分割槽被格式化為檔案系統後,應該有兩部份,一部份是inode,另一部份是Block,Block是用來儲存資料用的。而inode呢,就是用來儲存這些資料的資訊,這些資訊包括檔案大小、屬主、歸屬的使用者組、讀寫許可權等。inode為每個檔案進行資訊索引,所以就有了inode的數值。作業系統根據指令,能通過inode值最快的找到相對應的檔案。

這臺伺服器的Block雖然還有剩餘,但inode已經用滿,因此在建立新目錄或檔案時,系統提示磁碟空間不足。

排查是由於/data/cache目錄中存在數量非常多的小位元組快取檔案,佔用的Block不多,但是佔用了大量的inode。

解決方案:
1)刪除/data/cache目錄中的部分檔案,釋放出/data分割槽的一部分inode,特別要留意那些spool出來的檔案,這種檔案一般會佔用比較多的節點,因為比較小而且零碎,同時要多留意日誌檔案資訊等

2)用軟連線將空閒分割槽/opt中的newcache目錄連線到/data/cache,使用/opt分割槽的inode來緩解/data分割槽inode不足的問題:
# ln -s /opt/newcache /data/cache

3)更換伺服器,用高配置的伺服器替換低配置的伺服器。

情況二

問題:使用"df -h"命令發現磁碟使用率沒有佔滿,但是無法寫入檔案,提示"no space left on device"!
原因:磁碟的inode節點使用爆滿了!("df -i"命令檢視/var空間的inode爆滿)。

-------------------------------------------------------------------------------
可能原因1:
crontab裡面定時執行的句子裡沒有加 > /dev/null 2>&1,系統中cron執行的程式有輸出內容,
輸出內容會以郵件形式發給cron的使用者,而sendmail沒有啟動所以就產生了很大零碎的檔案:
crontab的job有問題,造成/var/spool/clientmqueue中產生許多的零碎檔案。

處理方法:
用"rm -rf *"會不能刪除,並會有相應的提示,大意是引數太多。

正確方法:
在/var/spool/clientmqueue/下執行命令:
# lsattr ./|awk -F"/" '{print $3}'|xargs -i rm -rf {}

表示用lsattr列出./下面的檔名的屬性,用awk取出名字,然後rm -rf

還有一個比較靠譜的方法:
# find /var/spool/clientmqueue/ -type f -exec rm {} \;

或者在/var/spool/clientmqueue/目錄下
# cd /var/spool/clientmqueue/
# find ./ -exec rm {} \;

將crontab中沒有定向輸出的行都在最後加上"> /dev/null 2>&1",在刪除的過程中操作。
或者先停止crontab,加上重定向。
--------------------------------------------------------------------------------
可能原因2
可以看下日誌檔案是否太多,如果是日誌檔案佔用大量的inodes可以臨時釋放清理下過期的日誌。
也可以根據較大目錄的檔案佔用情況,臨時轉移部分檔案到佔用磁碟較小的目錄中。

其他總結

===================================================
當發現某個分割槽下的inode使用率過大時,需要找到該分割槽下的某些目錄裡有哪些檔案可以清理。
查詢某個目錄下一個月或兩個月之前的檔案,然後刪除
# find . -type f -mtime +30 |wc -l
# find . -type f -mtime +60 |wc -l
# find . -type f -mtime +30 -exec rm -f {} \;
# find . -type f -mtime +60 -exec rm -f {} \;

釋放inode快取
# sync
# echo 3 > /proc/sys/vm/drop_caches

再次檢查下磁碟inode使用情況
# df -i
===================================================

1)刪除無用的臨時檔案,釋放inode。比如/tmp下有很多臨時檔案
# ls -lt /tmp | wc -l
# find /tmp -type f -exec rm {} \;
  
如果使用rm *,有可能因為檔案數量太多而出現Argument list too long錯誤
------------------------------------------------------------------------------------------
是在linux下,試圖傳太多引數給一個系統命令(ls *; cp *; rm *; cat *; etc..)時,就會出現 Argument list too long錯誤。
  
解決方法:使用find -exec 遍歷,然後執行刪除便可。
# find /tmp -type f -exec rm {} \;
------------------------------------------------------------------------------------------
  
2)除了的臨時檔案外,0位元組的檔案也會佔用inode,應該也釋放。
# find /home -type f -size 0 -exec rm {} \;
  
3)inode爆滿,也可能是某些目錄下存在大量的小檔案導致。
大量小檔案分佈有兩種可能:
a)一是隻有一個或少量目錄下存在大量小檔案,這種情況可以使用如下命令來找出這個異常目錄:
# find / -type d -size +10M  
即找出大小大於10M的目錄(目錄大小越大,表示目錄下的檔案越多)。
  
b)大量的小檔案分佈在大量的目錄下,這時候上面的命令可能找不出異常的目錄,需要以下命令:
# cd /
# find */ ! -type l | cut -d / -f 1 | uniq -c
此命令作用是找出目錄下檔案總數,可能需要執行多次,直到找出具體的目錄。比如上面的命令找出了/data目錄下存在大量的小檔案,
但/data/目錄還有很多目錄,這時候我們還需要繼續執行:
# cd /data
# find */ ! -type l | cut -d / -f 1 | uniq -c
直到找出具體的目錄。
  
如果可以直接刪除節點滿的資料夾:
# find . -type f -exec rm {} \;
  
還可以按照檔案的inode節點刪除檔案
# find . -inum 342137 -exec rm -i {} \;

相關文章