Flume實時監控 單個追加檔案
1)案例需求:實時監控 Hive 日誌,並上傳到 HDFS 中
2)需求分析:
3)實現步驟:
1.Flume 要想將資料輸出到 HDFS,須持有 Hadoop 相關 jar 包 拷貝到/opt/module/flume/lib 資料夾下。
2.建立 flume-file-hdfs.conf 檔案
建立檔案
注:要想讀取 Linux 系統中的檔案,就得按照 Linux 命令的規則執行命令。由於 Hive 日誌 在 Linux 系統中所以讀取檔案的型別選擇:exec 即 execute 執行的意思。表示執行 Linux 命令來讀取檔案。
新增如下內容
3.執行 Flume
4.開啟 Hadoop 和 Hive 並操作 Hive 產生日誌
5.在 HDFS 上檢視檔案。
相關文章
- Flume監控之Ganglia
- Java實現檔案監控器FileMonitorJava
- 基於Flume做FTP檔案實時同步的windows服務。FTPWindows
- 追加寫入json檔案JSON
- 檔案監控效能問題【BUG】
- 實時監控系統,統一監控企業APIAPI
- linux 監控檔案內容變化Linux
- RunLoop實戰:實時卡頓監控OOP
- node中給檔案追加內容
- java如何追加寫入txt檔案Java
- webrtc-streamer實時播放監控Web
- 019、Vue3+TypeScript基礎,使用watch監視物件資料時,如何監控整個物件或單獨監控物件某個屬性VueTypeScript物件
- 網路實時監控工具:PeakHour for macMac
- IO實時監控命令iostat詳解iOS
- SpringBoot+WebSocket實時監控異常Spring BootWeb
- TiDB監控實現--存活監控TiDB
- 前端監控進階篇 — Sentry 監控 Next.js 專案實踐前端JS
- pythonpyinotify監控檔案與目錄的變化Python
- 智慧檔案館網路監控運維策略運維
- 江蘇移動基於Prometheus實現百億級話單實時全景監控Prometheus
- java檔案相關(檔案追加內容、檔案內容清空、檔案內容讀取)Java
- RestCloud監控平臺,專為微服務API打造的實時監控中心RESTCloud微服務API
- 實時監控目錄及子目錄並修改子目錄及檔案的屬組及許可權
- python對json格式原檔案追加內容PythonJSON
- Oracle輕量級實時監控工具-oratopOracle
- .NET 開源實時監控系統 - WatchDog
- mytop 使用介紹 mysql實時監控工具MySql
- linux監控資料夾內的檔案數量Linux
- Linux 使用 inotify 監控檔案或目錄變化Linux
- 如何擴充套件單個Prometheus實現近萬Kubernetes叢集監控?套件Prometheus
- [譯文]如何實現一個單檔案元件元件
- 超實用!!rsync分散式 + inotify監控實時同步分散式
- 一個小工具幫你搞定實時監控Nginx伺服器Nginx伺服器
- Flume 實現自己的實時日誌(2)
- dotnet C# 簡單的追加資料夾到 ZipArchive 壓縮檔案的方法C#Hive
- 實時監控redis -- redislive與redis踩坑配置Redis
- 在Linux中,如何實時監控網路流量?Linux
- iftop--實時網路介面流量監控工具