實時日誌分析作為掌握業務情況、故障分析排查的一個重要手段，目前使用最多最成熟的莫過於ELK方案，整體方案也有各種架構組合，像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Logstash->ES->kibana等等，複雜點的有spark的引用。每種方案適合不同的應用場景，沒有優劣之分，我目前用的是rsyslog->kafka->Logstash->ES->kibana和rsyslog->rsyslog中繼->kafka->Logstash->ES->kibana方案，共5臺ES（12核、64G、機械盤）每天索引10多億條日誌，包含nginx、uwsgi、redis、php開發日誌等，執行比較健壯，每條索引日誌精簡後在10個欄位左右，每天Primary
Shard的索引量大概在600個G，考慮到效能問題，我們沒要複製分片，同時著重做了ES叢集的調優，日誌保留7天。
從整體架構進行抽象總結，其實就是採集->清洗->索引->展現四個環節，再去考慮各環節中快取、佇列的使用，每個環節點用不同的軟體來實現。下面介紹一下我目前方案叢集的搭建和配置。希望對同行有所幫助，也算積福德了，在ELK探索過程中多謝遠川和馮超同學的奉獻交流。
………….
瀏覽全部請點選運維網咖社地址：玩兒透ELK日誌分析叢集搭建.調優.管理（rsyslog->kafka->elk)