日誌實時分析:從入門到精通
日誌實時分析:從入門到精通
為什麼要實時分析日誌
做業務的人,常常需要面臨以下問題:
- 產品的受歡迎程度怎麼樣?該重點投入到哪個功能中?
- 各個營銷渠道的流量怎麼樣? 該向哪個渠道投入更多資源?
- 各個階段的轉化率、留存率有多少?有哪些瓶頸點需要優化?
如果沒有資料,就只能夠靠瞎猜,靠經驗來判斷。一旦業務方向走偏,一方面自己的業務量受影響,另一方面,耽誤時間,給競爭對手以可乘之機。
日誌是程式記錄事件和狀態的資料。通過日誌資料的採集、儲存和分析,我們可以很好地掌控產品的質量,輔助我們對開發、運營、運維等活動作出更加及時、更加精確的決策。在業務上,時間就是金錢,能夠快速的實時分析出結果,能夠及時的幫我們發現業務上的問題,節省我們的時間,幫助我們把業務能力提升不止一個量級。
那麼,我們如何選擇日誌分析的架構呢?
日誌分析:架構選型
在日誌分析領域,使用者可以選擇開源的ELK方案,也可以選擇阿里雲日誌服務。這篇文件在功能、價格方面對ELK、日誌服務做了全方位對比,僅供參考。
一般選擇技術架構的思路,我們從需求出發,再到落地成本呢,包括運維成本、財務成本,最終選擇一個能夠滿足需求的最低成本的解決方案。具體到日誌分析上,我們從這幾點出發考慮:
-
功能的豐富程度,是否支援
- 關鍵字查詢
- 聚合計算,表示式的豐富程度
- grouping 計算
- 多維資料join
-
效能和規模
- 資料寫入吞吐量能達到多少?TB?PB?
- 資料計算一次計算能覆蓋多大資料量?
-
實時性
- 從資料產生,到計算出結果,需要多久?秒級別?是實時的?還是離線的?
- 實時性和規模是不可調和的。
-
資料的重要程度
- 是每天運營的報表?一天算一次?還是要立刻拿到結果?
日誌服務的分析提供哪些能力
日誌服務分析語法,提供標準的SQL語法,可以同時使用sls的查詢和SQL計算功能。
在API上,支援:
- 日誌服務API
- JDBC,可對接任意開源JDBC協議客戶端。
在功能上:
- 支援20+類別的函式,共150+函式,覆蓋了常用的計算、統計、轉換、安全審計功能。
- 支援視覺化展示,可以實時的互動式查詢,動態展示結果。
在效能上:
- 支援TB級別的計算能力。
- 秒級別內獲取結果。
在生態上:
- 日誌服務控制檯,提供dashboard,提供線圖、餅圖、流圖等多種型別的檢視,對接文件
- 通過grafana外掛連線日誌服務,通過grafana視覺化展示日誌計算結果,對接文件。
- 無縫打通datav,通過datav大屏,展示日誌的計算結果,對接文件。
開始試用Demo
若你沒有賬號,可以點選此處試用demo,檢視分析功能,或者檢視配置的各種儀表盤。
入門之路
日誌服務是完全serverless的服務。只需要完成初次的對接,安裝好客戶端,配置好要採集哪些日誌,日誌接入參考文件。
之後即可在控制檯完成分析功能。
開始使用日誌分析之路:
- 開啟日誌服務控制檯
- 選擇對應的project
- 點選查詢,進入查詢頁面
- 如果沒有開啟索引,請開啟索引,如果沒有沒有建立列索引,則無法執行SQL,請在右上角查詢分析屬性,建立對應的列索引
- 在紅框中輸入查詢條件
- 查詢出結果後,新增到儀表盤
- 開啟儀表盤,檢視儲存的查詢結果
進階之路
- 完整語法文件
-
一些精彩案例
- 5分鐘搭建網站實時分析:Grafana+日誌服務實戰
- 使用jdbc訪問日誌服務分析和視覺化日誌
- AI驅動智慧化日誌分析 : 通過決策樹給日誌做聚類分析
- 增長黑客系列:今天比昨天增長多少?快使用環比函式來分析日誌
- 分析使用者的地理位置資訊
- 搜尋引擎背後的原理和中文日誌檢索
- 智慧挖掘異常日誌
- 流量驟增驟減,可以這樣設定告警
- 遊戲日誌分析5:資料庫與日誌關聯分析
- SQL老司機,在SQL中計算 array & map & json資料
- 日誌OLAP:在SQL中使用UDF, lambda函式使用案例
- 豐富日誌資訊,日誌服務和OSS外表進行關聯分析
- SQL on log : 同比分析各種指標
- 精通日誌查詢: 如何翻頁獲取日誌和計算結果
相關文章
- Logtail從入門到精通(二):開啟日誌採集之旅AI
- Promise從入門到精通Promise
- LESS從入門到精通
- Git 從入門到精通Git
- SAP從入門到精通
- Python從入門到精通Python
- Thymeleaf從入門到精通
- Eclipse從入門到精通Eclipse
- vim從入門到精通
- Shell從入門到精通
- Kaizen如何從入門到精通?AI
- Linux從入門到精通(二)Linux
- ElasticSearch 7.8.1 從入門到精通Elasticsearch
- RabbitMQ 從入門到精通 (一)MQ
- ActiveMQ從入門到精通(一)MQ
- ActiveMQ從入門到精通(二)MQ
- Celery框架從入門到精通框架
- MyBatis從入門到精通(一):MyBatis入門MyBatis
- 尚矽谷 springboot 從入門到精通Spring Boot
- Spark SQL | Spark,從入門到精通SparkSQL
- Flink從入門到精通系列文章
- Hello Spark! | Spark,從入門到精通Spark
- WIFI滲透從入門到精通WiFi
- Docker從入門到精通(五)——DockerfileDocker
- Prometheus從入門到精通:一、部署Prometheus
- 自學Python需要多長時間從入門到精通?Python
- 學習Python從入門到精通需要多長時間?Python
- Redis從入門到精通:中級篇Redis
- Vue學習從入門到精通(一)Vue
- Docker 從入門到精通(一)基本操作Docker
- Java 從入門到精通-反射機制Java反射
- Redis從入門到精通:初級篇Redis
- vue+webpack 從入門到精通(二)VueWeb
- Docker從入門到精通(一)——初識Docker
- Docker從入門到精通(八)——Docker ComposeDocker
- Android MVP架構從入門到精通-真槍實彈AndroidMVP架構
- CDN日誌實時分析
- 利用MAT分析JVM記憶體問題,從入門到精通(二)JVM記憶體