在學習Hadoop工具中的Flume時,有的小夥伴會遇到這句話:
“Flume要想將資料輸出到HDFS,必須持有Hadoop相關jar包”
然後小夥伴就懵逼了,這些包要去什麼地方來找呢?
(遠在天邊,近在眼前)
首先,我們需要的包有
commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar
這些包要放在/flume/lib資料夾下。
其中,後兩個jar為1.99版本flume必須引用的jar。其他版本可以不引用。
接下來找到你的Hadoop檔案
都學到Flume了,肯定能找到自己的Hadoop檔案吧(心虛)
進入hadoop-3.3.0\share\hadoop路徑
然後在這個位置搜尋上面你所需要的幾個包
注意:搜尋時只能搜尋包的名字,不要帶版本號,不然容易搜不到
這樣就找到了,接下來只需要開啟你的Xshell或者其他什麼東西連線linux主機,把這些檔案拖拽進/flume/lib就可以用了