Flume架構以及應用介紹[轉]

Franson發表於2018-04-27

在具體介紹本文內容之前，先給大家看一下Hadoop業務的整體開發流程：
這裡寫圖片描述
從Hadoop的業務開發流程圖中可以看出，在大資料的業務處理過程中，對於資料的採集是十分重要的一步，也是不可避免的一步，從而引出我們本文的主角—Flume。本文將圍繞Flume的架構、Flume的應用(日誌採集)進行詳細的介紹。
（一）Flume架構介紹
1、Flume的概念
這裡寫圖片描述
flume是分散式的日誌收集系統，它將各個伺服器中的資料收集起來並送到指定的地方去，比如說送到圖中的HDFS，簡單來說flume就是收集日誌的。
2、Event的概念
在這裡有必要先介紹一下flume中event的相關概念：flume的核心是把資料從資料來源(source)收集過來，在將收集到的資料送到指定的目的地(sink)。為了保證輸送的過程一定成功，在送到目的地(sink)之前，會先快取資料(channel),待資料真正到達目的地(sink)後，flume在刪除自己快取的資料。
在整個資料的傳輸的過程中，流動的是event，即事務保證是在event級別進行的。那麼什麼是event呢？—–event將傳輸的資料進行封裝，是flume傳輸資料的基本單位，如果是文字檔案，通常是一行記錄，event也是事務的基本單位。event從source，流向channel，再到sink，本身為一個位元組陣列，並可攜帶headers(頭資訊)資訊。event代表著一個資料的最小完整單元，從外部資料來源來，向外部的目的地去。
為了方便大家理解，給出一張event的資料流向圖：
這裡寫圖片描述
一個完整的event包括：event headers、event body、event資訊(即文字檔案中的單行記錄)，如下所以：

其中event資訊就是flume收集到的日記記錄。
3、flume架構介紹
flume之所以這麼神奇，是源於它自身的一個設計，這個設計就是agent，agent本身是一個java程式，執行在日誌收集節點—所謂日誌收集節點就是伺服器節點。
agent裡面包含3個核心的元件：source—->channel—–>sink,類似生產者、倉庫、消費者的架構。
source：source元件是專門用來收集資料的，可以處理各種型別、各種格式的日誌資料,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定義。
channel：source元件把資料收集來以後，臨時存放在channel中，即channel元件在agent中是專門用來存放臨時資料的——對採集到的資料進行簡單的快取，可以存放在memory、jdbc、file等等。
sink：sink元件是用於把資料傳送到目的地的元件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定義。
4、flume的執行機制
flume的核心就是一個agent，這個agent對外有兩個進行互動的地方，一個是接受資料的輸入——source，一個是資料的輸出sink，sink負責將資料傳送到外部指定的目的地。source接收到資料之後，將資料傳送給channel，chanel作為一個資料緩衝區會臨時存放這些資料，隨後sink會將channel中的資料傳送到指定的地方—-例如HDFS等，注意：只有在sink將channel中的資料成功傳送出去之後，channel才會將臨時資料進行刪除，這種機制保證了資料傳輸的可靠性與安全性。
5、flume的廣義用法
flume之所以這麼神奇—-其原因也在於flume可以支援多級flume的agent，即flume可以前後相繼，例如sink可以將資料寫到下一個agent的source中，這樣的話就可以連成串了，可以整體處理了。flume還支援扇入(fan-in)、扇出(fan-out)。所謂扇入就是source可以接受多個輸入，所謂扇出就是sink可以將資料輸出多個目的地destination中。
這裡寫圖片描述
（二）flume應用—日誌採集
對於flume的原理其實很容易理解，我們更應該掌握flume的具體使用方法，flume提供了大量內建的Source、Channel和Sink型別。而且不同型別的Source、Channel和Sink可以自由組合—–組合方式基於使用者設定的配置檔案，非常靈活。比如：Channel可以把事件暫存在記憶體裡，也可以持久化到本地硬碟上。Sink可以把日誌寫入HDFS, HBase，甚至是另外一個Source等等。下面我將用具體的案例詳述flume的具體用法。
其實flume的用法很簡單—-書寫一個配置檔案，在配置檔案當中描述source、channel與sink的具體實現，而後執行一個agent例項，在執行agent例項的過程中會讀取配置檔案的內容，這樣flume就會採集到資料。
配置檔案的編寫原則：
1>從整體上描述代理agent中sources、sinks、channels所涉及到的元件

    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1

2>詳細描述agent中每一個source、sink與channel的具體實現：即在描述source的時候，需要

指定source到底是什麼型別的，即這個source是接受檔案的、還是接受http的、還是接受thrift
的；對於sink也是同理，需要指定結果是輸出到HDFS中，還是Hbase中啊等等；對於channel
需要指定是記憶體啊，還是資料庫啊，還是檔案啊等等。

    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444

    # Describe the sink
    a1.sinks.k1.type = logger

    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100

3>通過channel將source與sink連線起來

    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

啟動agent的shell操作：

    flume-ng  agent -n a1  -c  ../conf   -f  ../conf/example.file  
    -Dflume.root.logger=DEBUG,console

引數說明： -n 指定agent名稱(與配置檔案中代理的名字相同)

-c 指定flume中配置檔案的目錄
-f 指定配置檔案
-Dflume.root.logger=DEBUG,console 設定日誌等級

具體案例：
案例1： NetCat Source：監聽一個指定的網路埠，即只要應用程式向這個埠裡面寫資料，這個source元件就可以獲取到資訊。其中 Sink：logger Channel：memory
flume官網中NetCat Source描述：

Property Name Default     Description
channels       –     
type           –     The component type name, needs to be netcat
bind           –  日誌需要傳送到的主機名或者Ip地址，該主機執行著netcat型別的source在監聽          
port           –  日誌需要傳送到的埠號，該埠號要有netcat型別的source在監聽

a) 編寫配置檔案：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.80.80
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

b) 啟動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/netcat.conf   -Dflume.root.logger=DEBUG,console

c) 使用telnet傳送資料

telnet  192.168.80.80  44444  big data world！（windows中執行的）

d) 在控制檯上檢視flume收集到的日誌資料：

這裡寫圖片描述

案例2：NetCat Source：監聽一個指定的網路埠，即只要應用程式向這個埠裡面寫資料，這個source元件就可以獲取到資訊。其中 Sink：hdfs Channel：file (相比於案例1的兩個變化)
flume官網中HDFS Sink的描述：
這裡寫圖片描述
a) 編寫配置檔案：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.80.80
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

b) 啟動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/netcat.conf   -Dflume.root.logger=DEBUG,console

c) 使用telnet傳送資料

telnet  192.168.80.80  44444  big data world！（windows中執行的）

d) 在HDFS中檢視flume收集到的日誌資料：

這裡寫圖片描述
案例3：Spooling Directory Source：監聽一個指定的目錄，即只要應用程式向這個指定的目錄中新增新的檔案，source元件就可以獲取到該資訊，並解析該檔案的內容，然後寫入到channle。寫入完成後，標記該檔案已完成或者刪除該檔案。其中 Sink：logger Channel：memory
flume官網中Spooling Directory Source描述：

Property Name       Default      Description
channels              –  
type                  –          The component type name, needs to be spooldir.
spoolDir              –          Spooling Directory Source監聽的目錄
fileSuffix         .COMPLETED    檔案內容寫入到channel之後，標記該檔案
deletePolicy       never         檔案內容寫入到channel之後的刪除策略: never or immediate
fileHeader         false         Whether to add a header storing the absolute path filename.
ignorePattern      ^$           Regular expression specifying which files to ignore (skip)
interceptors          –          指定傳輸中event的head(頭資訊)，常用timestamp

Spooling Directory Source的兩個注意事項：

①If a file is written to after being placed into the spooling directory, Flume will print an error to its log file and stop processing.
即：拷貝到spool目錄下的檔案不可以再開啟編輯
②If a file name is reused at a later time, Flume will print an error to its log file and stop processing.
即：不能將具有相同檔名字的檔案拷貝到這個目錄下

a) 編寫配置檔案：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

b) 啟動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/spool.conf   -Dflume.root.logger=DEBUG,console

c) 使用cp命令向Spooling Directory 中傳送資料

 cp datafile  /usr/local/datainput   (注：datafile中的內容為：big data world！)

d) 在控制檯上檢視flume收集到的日誌資料：

這裡寫圖片描述
從控制檯顯示的結果可以看出event的頭資訊中包含了時間戳資訊。
同時我們檢視一下Spooling Directory中的datafile資訊—-檔案內容寫入到channel之後，該檔案被標記了：

[root@hadoop80 datainput]# ls
datafile.COMPLETED

案例4：Spooling Directory Source：監聽一個指定的目錄，即只要應用程式向這個指定的目錄中新增新的檔案，source元件就可以獲取到該資訊，並解析該檔案的內容，然後寫入到channle。寫入完成後，標記該檔案已完成或者刪除該檔案。其中 Sink：hdfs Channel：file (相比於案例3的兩個變化)

a) 編寫配置檔案：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Describe the sink
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

b) 啟動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/spool.conf   -Dflume.root.logger=DEBUG,console

c) 使用cp命令向Spooling Directory 中傳送資料

 cp datafile  /usr/local/datainput   (注：datafile中的內容為：big data world！)

d) 在控制檯上可以參看sink的執行進度日誌：

這裡寫圖片描述
d) 在HDFS中檢視flume收集到的日誌資料：

從案例1與案例2、案例3與案例4的對比中我們可以發現：flume的配置檔案在編寫的過程中是非常靈活的。

案例5：Exec Source：監聽一個指定的命令，獲取一條命令的結果作為它的資料來源
常用的是tail -F file指令，即只要應用程式向日志(檔案)裡面寫資料，source元件就可以獲取到日誌(檔案)中最新的內容。其中 Sink：hdfs Channel：file
這個案列為了方便顯示Exec Source的執行效果，結合Hive中的external table進行來說明。

a) 編寫配置檔案：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/local/log.file

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

b)在hive中建立外部表—–hdfs://hadoop80:9000/dataoutput的目錄，方便檢視日誌捕獲內容

hive> create external table t1(infor  string)
    > row format delimited
    > fields terminated by '\t'
    > location '/dataoutput/';
OK
Time taken: 0.284 seconds

c) 啟動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/exec.conf   -Dflume.root.logger=DEBUG,console

d) 使用echo命令向/usr/local/datainput 中傳送資料

 echo  big data > log.file

d) 在HDFS和Hive分別中檢視flume收集到的日誌資料：

這裡寫圖片描述

hive> select * from t1;
OK
big data
Time taken: 0.086 seconds

e)使用echo命令向/usr/local/datainput 中在追加一條資料

echo big data world! >> log.file

d) 在HDFS和Hive再次分別中檢視flume收集到的日誌資料：

這裡寫圖片描述

hive> select * from t1;
OK
big data
big data world!
Time taken: 0.511 seconds

總結Exec source：Exec source和Spooling Directory Source是兩種常用的日誌採集的方式，其中Exec source可以實現對日誌的實時採集，Spooling Directory Source在對日誌的實時採集上稍有欠缺，儘管Exec source可以實現對日誌的實時採集，但是當Flume不執行或者指令執行出錯時，Exec source將無法收集到日誌資料，日誌會出現丟失，從而無法保證收集日誌的完整性。

案例6：Avro Source：監聽一個指定的Avro 埠，通過Avro 埠可以獲取到Avro client傳送過來的檔案。即只要應用程式通過Avro 埠傳送檔案，source元件就可以獲取到該檔案中的內容。其中 Sink：hdfs Channel：file
(注：Avro和Thrift都是一些序列化的網路埠–通過這些網路埠可以接受或者傳送資訊，Avro可以傳送一個給定的檔案給Flume，Avro 源使用AVRO RPC機制)
Avro Source執行原理如下圖：
這裡寫圖片描述
flume官網中Avro Source的描述：

Property     Name   Default Description
channels      –  
type          –     The component type name, needs to be avro
bind          –     日誌需要傳送到的主機名或者ip，該主機執行著ARVO型別的source
port          –     日誌需要傳送到的埠號，該埠要有ARVO型別的source在監聽

1)編寫配置檔案

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = 192.168.80.80
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

b) 啟動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/avro.conf   -Dflume.root.logger=DEBUG,console

c)使用avro-client傳送檔案

flume-ng avro-client -c  ../conf  -H 192.168.80.80  -p 4141 -F /usr/local/log.file

注：log.file檔案中的內容為：

[root@hadoop80 local]# more log.file
big data
big data world!

d) 在HDFS中檢視flume收集到的日誌資料：

這裡寫圖片描述

通過上面的幾個案例，我們可以發現：flume配置檔案的書寫是相當靈活的—-不同型別的Source、Channel和Sink可以自由組合！

最後對上面用的幾個flume source進行適當總結：
① NetCat Source：監聽一個指定的網路埠，即只要應用程式向這個埠裡面寫資料，這個source元件
就可以獲取到資訊。
②Spooling Directory Source：監聽一個指定的目錄，即只要應用程式向這個指定的目錄中新增新的文
件，source元件就可以獲取到該資訊，並解析該檔案的內容，然後寫入到channle。寫入完成後，標記
該檔案已完成或者刪除該檔案。
③Exec Source：監聽一個指定的命令，獲取一條命令的結果作為它的資料來源
常用的是tail -F file指令，即只要應用程式向日志(檔案)裡面寫資料，source元件就可以獲取到日誌(檔案)中最新的內容。
④Avro Source：監聽一個指定的Avro 埠，通過Avro 埠可以獲取到Avro client傳送過來的檔案。即只要應用程式通過Avro 埠傳送檔案，source元件就可以獲取到該檔案中的內容。

微雲視訊轉碼架構介紹
2018-06-10
架構
Orchard架構介紹
2020-07-18
架構
OpenTelemetry架構介紹
2020-10-27
架構
通俗易懂的生產環境Web應用架構介紹
2019-02-26
Web應用架構
JavaScript內建物件介紹（重點介紹Math()，Date()，Array()以及案例應用）
2020-10-30
JavaScript物件
Redis應用(二) --分散式鎖以及壓測介紹
2018-09-19
Redis分散式
球幕影院的應用介紹以及使用特點
2023-01-03
TiDB整體架構介紹
2019-01-14
TiDB架構
KAFKA介紹（分散式架構）
2018-08-15
Kafka分散式架構
Pixhawk系統架構介紹
2018-07-09
架構
LNMP架構介紹與部署
2020-10-08
LNMP架構
RAG系統架構介紹
2024-10-25
架構
nginx介紹（二）架構篇
2021-09-09
Nginx架構
談談關於 iOS 的架構以及應用
2019-04-26
iOS架構
RabbitMQ 的應用場景以及基本原理介紹
2019-04-13
MQ
RabbitMQ的應用場景以及基本原理介紹
2020-07-03
MQ
理解索引：HBase介紹和架構
2018-06-07
索引架構
介紹基於事件的架構
2021-03-01
事件架構
Hive簡介、應用場景及架構原理
2018-08-20
Hive架構
Sqlite 介紹及應用
2024-05-20
SQLite
Nginx 架構——【核心流程+模組介紹】
2019-03-25
Nginx架構
UML 架構圖入門介紹 starUML
2024-04-06
架構
Android 應用程式元件介紹
2020-04-05
Android元件
Redis HyperLogLog介紹及應用
2020-04-04
Redis
微服務架構的特徵簡要介紹
2018-07-03
微服務架構特徵
NUMA架構介紹及優缺點分析
2023-05-11
架構
match函式簡單介紹以及與index函式結合應用
2018-08-20
函式Index
Anaconda的開發環境介紹以及簡單爬蟲的應用
2020-11-10
開發環境爬蟲
雲管平臺的作用以及應用行業簡單介紹
2021-10-26
行業
程式碼構建軟體架構圖的工具介紹
2024-08-17
架構
Aspose.Words for .NET基本介紹以及功能介紹
2018-08-14
MVP應用架構模式
2019-03-12
MVP應用架構模式
隱式呼叫架構風格的概念與應用（轉）
2024-04-16
架構
Cable--新虛擬網路架構介紹
2019-03-28
架構
介紹一下Spring Cloud微服務架構
2019-03-08
SpringCloud微服務架構
Lustre架構介紹的閱讀筆記-HSM
2024-04-08
架構筆記
接入層Nginx架構及模組介紹分享
2020-03-11
Nginx架構
高併發架構的TCP知識介紹
2019-05-07
架構TCP

Flume架構以及應用介紹[轉]

相關文章