如何獲取Flume連線HDFS所需要的包

你这过氧化氢掺水了發表於2024-06-17

在學習Hadoop工具中的Flume時,有的小夥伴會遇到這句話:

“Flume要想將資料輸出到HDFS,必須持有Hadoop相關jar包”

然後小夥伴就懵逼了,這些包要去什麼地方來找呢?
(遠在天邊,近在眼前)



首先,我們需要的包有

commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar

這些包要放在/flume/lib資料夾下。

其中,後兩個jar為1.99版本flume必須引用的jar。其他版本可以不引用。



接下來找到你的Hadoop檔案

都學到Flume了,肯定能找到自己的Hadoop檔案吧(心虛)

進入hadoop-3.3.0\share\hadoop路徑

然後在這個位置搜尋上面你所需要的幾個包
注意:搜尋時只能搜尋包的名字,不要帶版本號,不然容易搜不到

這樣就找到了,接下來只需要開啟你的Xshell或者其他什麼東西連線linux主機,把這些檔案拖拽進/flume/lib就可以用了

相關文章