《Learning ELK Stack》前言

yeedomliu發表於2020-07-30
系列文章：
《Learning ELK Stack》前言 《Learning ELK Stack》1 ELK技術棧介紹 《Learning ELK Stack》2 構建第一條ELK資料管道 《Learning ELK Stack》3 使用Logstash採集、解析和轉換資料 《Learning ELK Stack》5 為什麼需要Elasticsearch
  • 隨著雲端計算和大資料的發展，分散式架構已經成為常態。在分散式系統中，日誌也隨之分佈到多臺伺服器上。這時候，要藉助日誌來排查系統問題，或者分析業務資料等，成本就比傳統的單機系統要高很多
  • 從大資料的角度來看，大資料的來源，主要包括
  1. 資料庫
  2. 日誌檔案
  3. 爬蟲
  • 其中日誌檔案是最常見也是量最大的資料來源。爬蟲也經常會將初步處理的資料以檔案的形式存放，也可以歸結到日誌檔案一類。解決日誌檔案的採集、解析和分析，也是大資料時代的普遍需求
  • 所以，在雲端計算和大資料時代，將分佈在多臺伺服器上的日誌集中起來，統一地進行儲存、解析、搜尋和分析展現，成為一種普遍需求。在開源領域，ELK技術棧是解決日誌問題的一種流行方案。傳統的基於倒排索引的搜尋功能之外，通過引入列式儲存DocValue，具備了不錯的分析能力
  • 但要用好這套開源產品，也需要深入理解每個元件的細節，需要有一支技術能力較強的團隊來維護和開發
本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章