一、HDFS檔案限額配置
在多人共用HDFS的環境下,配置設定非常重要。特別是在Hadoop處理大量資料的環境,如
果沒有配額管理,很容易把所有的空間用完造成別人無法存取。Hdfs的配額設定是針對目錄
而不是針對賬號,可以 讓每個賬號僅操作某一個目錄,然後對目錄設定配置。
hdfs檔案的限額配置允許我們以檔案個數,或者檔案大小來限制我們在某個目錄下上傳的文
件數量或者檔案內容總量,以便達到我們類似百度網盤網盤等限制每個使用者允許上傳的最大
的檔案的量。
①數量限額
hdfs dfs -mkdir -p /user/root/dir #建立hdfs資料夾
hdfs dfsadmin -setQuota 2 dir # 給該資料夾下面設定最多上傳兩個檔案,發現只能上傳一個檔案,因為系統把檔案本身也當作檔案
清除檔案數量限制
hdfs dfsadmin -clrQuota /user/root/dir # 清除檔案數量限制
②空間大小限額
在設定空間配額時,設定的空間至少是block_size * 3大小
生成任意大小檔案的命令:
dd if=/dev/zero of=1.txt bs=1M count=2 #生成2M的檔案
清除空間配額限制
二、hdfs的安全模式
安全模式是hadoop的一種保護機制,用於保證叢集中的資料塊的安全性。當叢集啟動的時
候,會首先進入安全模式。當系統處於安全模式時會檢查資料塊的完整性。
假設我們設定的副本數(即引數dfs.replication)是3,那麼在datanode上就應該有3個副本存
在,假設只存在2個副本,那麼比例就是2/3=0.666。hdfs預設的副本率0.999。我們的副本率
0.666明顯小於0.999,因此係統會自動的複製副本到其他dataNode,使得副本率不小於0.999。
如果系統中有5個副本,超過我們設定的3個副本,那麼系統也會刪除多於的2個副本。
在安全模式狀態下,檔案系統只接受讀資料請求,而不接受刪除、修改等變更請求。在,當
整個系統達到安全標準時,HDFS自動離開安全模式
安全模式操作命令:
hdfs dfsadmin -safemode get #檢視安全模式狀態
hdfs dfsadmin -safemode enter #進入安全模式
hdfs dfsadmin -safemode leave #離開安全模式
三、HDFS基準測試
①測試寫入速度
向HDFS檔案系統中寫入資料,10個檔案,每個檔案10MB,檔案存放到/benchmarks/TestDFSIO中
完成之後檢視寫入速度結果:
②測試讀取速度
在HDFS檔案系統中讀入10個檔案,每個檔案10M
檢視讀取果
清除測試資料
HDFS檔案寫入過程
HDFS讀取過程