IOT/智慧裝置日誌解決方案(3):上下游對接
系列文章:
- IOT/智慧裝置日誌解決方案(1):概述
- IOT/智慧裝置日誌解決方案(2):全方位資料採集
- IOT/智慧裝置日誌解決方案(3):上下游對接
- IOT/智慧裝置日誌解決方案(4):計算與分析
- IOT/智慧裝置日誌解決方案(5):線上問題調查
- IOT/智慧裝置日誌解決方案(6):實時監控
- IOT/智慧裝置日誌解決方案(7):搭建業務大盤
資料佇列
當資料從遍佈全球的裝置端以及服務端採集上來後,最先會到達資料佇列。佇列承載所有資料的入口和出口,必須具備的兩大能力是:
- 豐富的上下游對接能力:資料要能從各種方式接入上來,也能夠非常容易的對接各個系統。
- 彈性伸縮能力:當服務量級上升後,如何快速的擴容;同時如何面對未知的流量激增,防止系統突然打爆。
下面將從這兩個方面介紹日誌服務LogHub的相關能力:
上下游生態對接
為了能降低使用者使用負擔,與生態更好結合,我們也在積極擴充LogHub上下游的生態,包括:
- 採集端:Logstash、Beats、Log4J等
- 實時消費端(流計算):Flink/Blink、Storm、Samza等
- 儲存端(數倉):Hadoop、Spark、Presto、Hive等
截止5月已支援30+ 資料接入方案(包括最完整K8S方案)、以及對主流流計算、資料倉儲等引擎支援。
](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/5b8cb23e8a6b5ad9c603d15271c465b8.png)
彈性伸縮
在解決各類上下游對接問題後,我們把問題聚焦在服務端流量這個問題上。熟悉Kafka都知道,通過Partition策略可以將服務端處理資源標準化:例如定義一個標準的單元Partition或Shard(例如每個Shard固定5MB/S寫,10MB/S讀)。當業務高峰期時,可以後臺Split Shard以獲取2倍的吞吐量。
這種方法看起來很工程化,但在使用過程中有兩個難以繞開的現實問題:
- 業務無法預測:事先無法準確預估資料量,預設多少個shard才合適呢
- 人的反應滯後:資料量隨時會突增,人不一定能夠及時處理,長時間超出服務端負載能力會有資料丟失風險
針對以上情況,LogHub提供了全球首創Shard自動分裂功能:在使用者開啟該功能後,後臺系統實時監控每個shard的流量,如果發現一個shard的寫入在一段時間內,有連續出現超過shard處理能力的情況,會觸發shard的自動分裂,時刻保障業務流量。
更多細節可以參考這篇文章: 支援Shard自動分裂
相關文章
- Nginx日誌分析解決方案Nginx
- iot 對接科星
- 裝置管控解決方案
- 智慧工廠裝置狀態視覺化監控解決方案視覺化
- 智慧電網:分散式光伏裝置物聯網解決方案分散式
- 無線微波裝置網管解決方案
- Loguru:Python 日誌終極解決方案Python
- 用Raspberry Pi搭建Azure IOT解決方案
- php對接電信平臺,對接lot裝置傳送or接收資料(一)PHP
- 小程式對接低能耗藍芽裝置藍芽
- 運維平臺之應用日誌解決方案--ELK運維應用日誌
- sqlserver 事務日誌過大 收縮方法解決方案SQLServer
- EPON+EOC 大批次裝置網管解決方案
- 如何解決物聯網(IoT)裝置充電難題
- IOT裝置SmartConfig實現
- 二次供水裝置遠端監控解決方案
- Retina 屏移動裝置 1px解決方案
- 智慧融合通訊裝置醫院疫情防控視訊實時傳輸解決方案
- apche-tomcat日誌過大解決方案。Tomcat
- 定製COSU裝置管理解決方案
- 阿里雲IoT物聯網平臺-日誌服務詳解阿里
- 如何實現智慧製造工業裝置資料採集與MES系統對接
- 哪些裝置將用於部署酒店WiFi網路解決方案?WiFi
- 多卡聚合路由裝置海上通訊應用解決方案路由
- 智慧工廠:工業裝置聯網及資料採集解決方案
- 乾元通智慧多卡聚合通訊裝置公安應急指揮行業解決方案行業
- 智慧農業解決方案
- IoT日誌利器:嵌入式日誌採集客戶端(C Producer)釋出客戶端
- ELK集中化日誌解決方案——看這一篇全搞定
- ELK一個優秀的日誌收集、搜尋、分析的解決方案
- Linux下日誌檔案過大解決方案Linux
- 失眠怎麼快速入睡? 八款智慧裝置輕鬆解決
- IOT邊緣計算閘道器有效解決老舊裝置接入難題,降低部署成本
- 【轉】 android獲取裝置唯一標識完美解決方案Android
- 工業裝置資料採集組態監控解決方案
- 電子裝置行業智慧供應鏈協同平臺解決方案:解決低效, 賦能產業數字化升級行業產業
- logrotate 不支援不同裝置間的日誌轉儲logrotate
- MySQL(3)-日誌MySql