Flume介紹

概述

• Flume是一個分散式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。
• Flume可以採集檔案，socket資料包、檔案、資料夾、kafka等各種形式源資料，又可以將採集到的資料(下沉sink)輸出到HDFS、hbase、hive、kafka等眾多外部儲存系統中
• 一般的採集需求，通過對flume的簡單配置即可實現
• Flume針對特殊場景也具備良好的自定義擴充套件能力，因此，flume可以適用於大部分的日常資料採集場景

執行機制

1. Flume分散式系統中最核心的角色是agent，flume採集系統就是由一個個agent所連線起來形成
2. 每一個agent相當於一個資料傳遞員，內部有三個元件：
   a) Source：採集元件，用於跟資料來源對接，以獲取資料
   b) Sink：下沉元件，用於往下一級agent傳遞資料或者往最終儲存系統傳遞資料
   c) Channel：傳輸通道元件，用於從source將資料傳遞到sink

Flume採集系統結構圖

1. 簡單結構
   
2. 複雜結構
   多級agent之間串聯