Hadoop叢集面試題

Hadoop可以執行的三種模式是什麼？

Hadoop可以執行的三種模式是： 1. 獨立（本地）模式 2. 偽分散式模式 3. 完全分散式模式
 
獨立（本地）模式有哪些特點？在獨立模式下，沒有守護程式，一切都在單個 JVM 上執行。它沒有 DFS 並使用本地檔案系統。單機模式僅適用於  在開發過程中執行MapReduce程式。它是使用最少的環境之一。
 
偽模式有什麼特點？
偽模式用於開發和 QA 環境。在偽模式下，所有守護程式都在同一臺機器上執行。
 
我們可以將虛擬機器稱為偽虛擬機器嗎？
不，虛擬機器不是偽虛擬機器，因為虛擬機器是不同的，而虛擬機器是非常特定於 Hadoop 的。
 
全分散式模式有什麼特點？
完全分散式模式用於生產環境，我們有“n”臺機器組成一個 Hadoop 叢集。Hadoop 守護程式在一組機器上執行。Namenode 執行在一臺主機上，datanode 執行在另一臺主機上，然後有一些機器上執行任務跟蹤器。在這個發行版中，我們有單獨的主裝置和單獨的從裝置。
 
Hadoop 是否遵循 UNIX 模式？
是的，Hadoop 緊跟 UNIX 模式。與 UNIX 一樣，Hadoop 也有“conf”目錄。
 
Hadoop安裝在哪個目錄？
Cloudera 和 Apache 具有相同的目錄結構。Hadoop 安裝在 cd
/usr/lib/hadoop/
 
Namenode、job tracker、task tracker的埠號分別是多少？
Namenode 的埠號是“50070”，作業跟蹤器的埠號是“50030”，任務跟蹤器的埠號是“50060”。
 
什麼是 Hadoop 核心配置？
Hadoop 核心由兩個 xml 檔案配置：
1. hadoop-default.xml 已重新命名為 2. hadoop-site.xml。
這些檔案以 xml 格式編寫。我們在這些 xml 檔案中有某些屬性，它們由名稱和值組成。
 
目前Hadoop配置檔案有哪些？
有Hadoop中3個配置檔案：
1.芯的site.xml
2. HDFS-site.xml中
3. mapred-site.xml中
這些檔案位於的hadoop / CONF /子目錄。
 
如何退出 Vi 編輯器？
要退出 Vi 編輯器，請按 ESC 並鍵入 :q，然後按 Enter。
 
什麼是 RAM 的溢位因子？
溢位因子是檔案移動到臨時檔案後的大小。Hadoop-temp 目錄用於此目的。
 
fs.mapr.working.dir 是單個目錄嗎？
是的， fs.mapr.working.dir 它只是一個目錄。
 
hdfs-site.xml 的三個主要屬性是什麼？
hdfs-site.xml 的三個主要屬性是：
1. dfs.name.dir，它為您提供後設資料將被儲存的位置以及 DFS 所在的位置——磁碟上或遠端上。
2. dfs.data.dir 為您提供資料將被儲存的位置。
3. fs.checkpoint.dir 用於二級Namenode。
 
如何退出插入模式？
要退出插入模式，請按 ESC，鍵入 :q（如果您還沒有寫入任何內容）或鍵入 :wq（如果您在檔案中寫入了任何內容），然後按 ENTER。
 
Cloudera 是什麼以及為什麼使用它？
Cloudera 是 Hadoop 的發行版。它是預設在 VM 上建立的使用者。Cloudera 屬於 Apache，用於資料處理。
 
如果在鍵入 hadoop fsck / 時出現“連線被拒絕的 Java 異常”，會發生什麼情況？
這可能意味著 Namenode 無法在您的 VM 上執行。
我們正在使用帶有Cloudera 的Ubuntu 作業系統，但我們可以從哪裡
 
“jps”命令有什麼作用？
此命令檢查您的 Namenode、datanode、任務跟蹤器、作業跟蹤器等是否正常工作。
 
如何重新啟動 Namenode？
1. 單擊 stop-all.sh，然後單擊 start-all.sh 或
2. 寫入 sudo hdfs（按 Enter）、su-hdfs（按 Enter）、/ etc/init.d/ha （按 Enter）和然後 /etc/init.d/hadoop-namenode 啟動（按Enter鍵）。
 
fsck 的完整形式是什麼？
fsck 的完整形式是檔案系統檢查。
 
我們如何檢查 Namenode 是否正常工作？
要檢查 Namenode 是否正常工作，請使用命令 /etc/init.d/hadoop-namenode status 或像 jps 一樣簡單。
 
命令 mapred.job.tracker 有什麼作用？
命令 mapred.job.tracker 列出您的哪些節點充當作業跟蹤器。
 
/etc /init.d 有什麼作用？
/etc /init.d 指定守護程式（服務）的放置位置或檢視這些守護程式的狀態。它非常特定於 LINUX，與 Hadoop 無關。
 
我們如何在瀏覽器中查詢 Namenode？
如果非要在瀏覽器中查詢Namenode，不必給出localhost:8021，在瀏覽器中查詢Namenode的埠號是50070。
 
如何從 SU 更改為 Cloudera？
要從 SU（超級使用者）更改為 Cloudera，只需鍵入 exit。
 
啟動和關閉命令使用哪些檔案？
從站和主站由啟動和關閉命令使用。
 
從節點Slaver由什麼組成？
從節點或從站由主機列表組成，每行一個，這些主機託管資料節點和任務跟蹤器伺服器。
 
主節點Master由什麼組成？
Masters 包含一個主機列表，每行一個，用於託管輔助名稱節點伺服器。
 
hadoop-env.sh 有什麼作用？
hadoop-env.sh 為 Hadoop 提供了執行環境。JAVA_HOME設定在這裡。
 
我們可以在主檔案中有多個條目嗎？
是的，我們可以在主檔案中有多個條目。
 
hadoop-env.sh 檔案在哪裡？
hadoop-env.sh 檔案存在於 conf 位置。
 
在 Hadoop_PID_DIR 中，PID 代表什麼？
PID 代表“程式 ID”。
 
/var/hadoop/pids 有什麼作用？
它儲存PID。
 
hadoop-metrics.properties 檔案有什麼作用？
hadoop-metrics.properties 用於“報告”目的。它控制 Hadoop 的報告。預設狀態為“不報告”。
 
Hadoop 的網路要求是什麼？
Hadoop 核心使用 Shell (SSH) 在從節點上啟動伺服器程式。它需要主機和所有從機以及輔助機器之間的無密碼 SSH 連線。
 
為什麼在完全分散式環境中需要無密碼 SSH？
我們需要在全分散式環境中使用無密碼 SSH，因為當叢集處於 LIVE 並在全分散式環境中執行時，通訊過於頻繁。作業跟蹤器應該能夠快速將任務傳送到任務跟蹤器。
 
這會導致安全問題嗎？
一點都不。Hadoop 叢集是一個孤立的叢集。通常它與網際網路無關。它有一種不同的配置。我們不必擔心這種安全漏洞，例如有人透過網際網路進行駭客攻擊等等。Hadoop 有一種非常安全的方式來連線到其他機器以獲取和處理資料。
 
SSH 在哪個埠上工作？
SSH 在埠號 22 上工作，但它可以配置。22 是預設埠號。
 
你能告訴我們更多關於 SSH 的資訊嗎？
SSH 只不過是一種安全的shell 通訊，它是一種工作在22 號埠上的協議，當您進行SSH 時，您真正需要的是密碼。
 
為什麼 SSH localhost 需要密碼？
SSH 中需要密碼以確保安全以及在
未設定無密碼通訊的情況下。
 
即使金鑰是在 SSH 中新增的，我們是否需要提供密碼？
是的，即使在 SSH 中新增了金鑰，仍然需要密碼。
 
如果 Namenode 沒有資料怎麼辦？
如果 Namenode 沒有資料，則它不是 Namenode。實際上，Namenode 會有一些資料。
 
當 Namenode 關閉時，作業跟蹤器會發生什麼？
當 Namenode 關閉時，您的叢集將關閉，這是因為 Namenode 是 HDFS 中的單點故障。
 
當作業跟蹤器關閉時，Namenode 會發生什麼？
當作業跟蹤器關閉時，它不會起作用，但 Namenode 會出現。因此，如果 Namenode 正在工作，即使作業跟蹤器不工作，叢集也可以訪問。
 
您能否提供更多有關 Master 和 Slaves 之間 SSH 通訊的詳細資訊？
SSH 是一種無密碼安全通訊，其中資料包透過從站傳送。它具有某種格式，資料可以透過這種格式傳送。SSH 不僅在主從之間，而且在兩臺主機之間。
 
DFS 的格式是什麼？
就像我們在 Windows 上所做的那樣，DFS 被格式化為正確的結構。通常不會這樣做，因為它也會格式化 Namenode。
 
HDFS 客戶端決定輸入拆分還是 Namenode？
不，客戶沒有決定權。它已在已配置輸入拆分的配置之一中指定。
 
在Cloudera中已經有一個叢集，但是如果我想在Ubuntu上形成一個叢集我們可以嗎？
是的，你可以繼續這個！有建立新叢集的安裝步驟。您可以解除安裝現有叢集並安裝新叢集。
 
我們可以從頭開始建立一個 Hadoop 叢集嗎？
是的，一旦我們熟悉了 Hadoop 環境，我們也可以這樣做。
 
我們可以將 Windows 用於 Hadoop 嗎？
實際上，Red Hat Linux 或 Ubuntu 是 Hadoop 的最佳作業系統。Windows 不常用於安裝 Hadoop，因為 Windows 有許多支援問題。因此，Windows 不是 Hadoop 的首選環境。