日誌實時分析:從入門到精通

雲雷發表於2018-09-01

日誌實時分析:從入門到精通

為什麼要實時分析日誌

做業務的人,常常需要面臨以下問題:

  • 產品的受歡迎程度怎麼樣?該重點投入到哪個功能中?
  • 各個營銷渠道的流量怎麼樣? 該向哪個渠道投入更多資源?
  • 各個階段的轉化率、留存率有多少?有哪些瓶頸點需要優化?

如果沒有資料,就只能夠靠瞎猜,靠經驗來判斷。一旦業務方向走偏,一方面自己的業務量受影響,另一方面,耽誤時間,給競爭對手以可乘之機。

日誌是程式記錄事件和狀態的資料。通過日誌資料的採集、儲存和分析,我們可以很好地掌控產品的質量,輔助我們對開發、運營、運維等活動作出更加及時、更加精確的決策。在業務上,時間就是金錢,能夠快速的實時分析出結果,能夠及時的幫我們發現業務上的問題,節省我們的時間,幫助我們把業務能力提升不止一個量級。

那麼,我們如何選擇日誌分析的架構呢?

日誌分析:架構選型

在日誌分析領域,使用者可以選擇開源的ELK方案,也可以選擇阿里雲日誌服務。這篇文件在功能、價格方面對ELK、日誌服務做了全方位對比,僅供參考。

image.png

一般選擇技術架構的思路,我們從需求出發,再到落地成本呢,包括運維成本、財務成本,最終選擇一個能夠滿足需求的最低成本的解決方案。具體到日誌分析上,我們從這幾點出發考慮:

image.png

  • 功能的豐富程度,是否支援

    • 關鍵字查詢
    • 聚合計算,表示式的豐富程度
    • grouping 計算
    • 多維資料join
  • 效能和規模

    • 資料寫入吞吐量能達到多少?TB?PB?
    • 資料計算一次計算能覆蓋多大資料量?
  • 實時性

    • 從資料產生,到計算出結果,需要多久?秒級別?是實時的?還是離線的?
    • 實時性和規模是不可調和的。
  • 資料的重要程度

    • 是每天運營的報表?一天算一次?還是要立刻拿到結果?

image.png

日誌服務的分析提供哪些能力

日誌服務分析語法,提供標準的SQL語法,可以同時使用sls的查詢和SQL計算功能。

在API上,支援:

  • 日誌服務API
  • JDBC,可對接任意開源JDBC協議客戶端。

在功能上:

  • 支援20+類別的函式,共150+函式,覆蓋了常用的計算、統計、轉換、安全審計功能。
  • 支援視覺化展示,可以實時的互動式查詢,動態展示結果。

在效能上:

  • 支援TB級別的計算能力。
  • 秒級別內獲取結果。

在生態上:

  • 日誌服務控制檯,提供dashboard,提供線圖、餅圖、流圖等多種型別的檢視,對接文件
  • 通過grafana外掛連線日誌服務,通過grafana視覺化展示日誌計算結果,對接文件
  • 無縫打通datav,通過datav大屏,展示日誌的計算結果,對接文件

開始試用Demo

若你沒有賬號,可以點選此處試用demo,檢視分析功能,或者檢視配置的各種儀表盤。

入門之路

日誌服務是完全serverless的服務。只需要完成初次的對接,安裝好客戶端,配置好要採集哪些日誌,日誌接入參考文件

之後即可在控制檯完成分析功能。

image.png

開始使用日誌分析之路:

  1. 開啟日誌服務控制檯
  2. 選擇對應的project
    image.png
  3. 點選查詢,進入查詢頁面
    i    mage.png
  4. 如果沒有開啟索引,請開啟索引,如果沒有沒有建立列索引,則無法執行SQL,請在右上角查詢分析屬性,建立對應的列索引
    image.pngimage.png
  5. 在紅框中輸入查詢條件
    image.png
  6. 查詢出結果後,新增到儀表盤
    image.png
  7. 開啟儀表盤,檢視儲存的查詢結果
    image.png

進階之路


相關文章