Graylog伺服器搭建手冊，你的私人log伺服器

AskHarries發表於2018-03-31

發現Graylog其實是在國外IGP專案競選的時候，一個非常不錯的idea，當時是Robert提出的構建這個日誌管理平臺，私底下看他演示了demo，首先具有視覺化後臺日誌資料，這點很實用。後來發現，graylog的真正強大，是它賦予日誌管理系統具有google的能力，即可以對日誌進行全文搜尋，他多次這樣形容：“Anything can be…, Anything can be…”。然而，太過超前的概念，若你所處的環境無法理解，結果總是會很不幸。

我在一篇部落格上看到這樣的評價“Graylog簡直就是開源版的Splunk”，後者是著名的企業級超級日誌管理系統，然而收費高達3萬美金。再次佐證一個真理：知識就是財富。

其實，對於後臺運維的需求，無非“視覺化/報警/報告”這些。國內一些相關初創公司發展迅猛，像“輕雲”和“one”，可以提供伺服器的相關業務的“探針”服務，檢測效能及後臺日誌。整合下來，我知道的還有zabbix，但是配置起來較graylog麻煩一些。所以暫時還沒了解。

前面網際網路的浪潮快速發展，業務型別跟著層層迭代，而後端對於伺服器的運維需求也在不斷提高，若初期不能考慮到後端運維，隨著業務往後的發展逐漸暴露出問題，運維的效率往往有時候可以決定產品發展的速度。

Graylog圖解

部署圖

Web介面截圖:

最小安裝：
 
生產工具安裝：

架構圖
從官網上截的一張圖：

安裝手冊

軟體清單

Mongodb 3.0
Elasticsearch 1.5
graylog-server 1.3
graylog-web 1.3

安裝環境

CentOS6.6，伺服器IP：ITStudio的linux主機地址，已安裝Oracle jdk 7u71

安裝步驟

1. mongodb

mongodb 官方網站

[root@logserver yum.repos.d]# vim /etc/yum.repos.d/mongodb-org-3.0.repo
---
[mongodb-org-3.0]
name=MongoDB Repository
baseurl=http://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/
gpgcheck=0
enabled=1
---

[root@logserver yum.repos.d]# yum install -y mongodb-org

[root@logserver yum.repos.d]# vi /etc/yum.conf
最後一行新增：
---
exclude=mongodb-org,mongodb-org-server,mongodb-org-shell,mongodb-org-mongos,mongodb-org-tools
---

[root@logserver yum.repos.d]# service mongod start
[root@logserver yum.repos.d]# chkconfig mongod on

[root@logserver yum.repos.d]# vi /etc/security/limits.conf
最後一行新增：
---
*                soft    nproc           65536
*                hard    nproc           65536
mongod           soft    nproc           65536

*                soft    nofile          131072
*                hard    nofile          131072
---

[root@logserver ~]# vi /etc/init.d/mongod
ulimit -f unlimited 行前插入：
---
  if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
  fi
  if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
  fi
---
[root@logserver ~]# /etc/init.d/mongod restart複製程式碼

2. elasticsearch

elasticsearch 最新版本已經達到2.3，而Graylog官方說明暫不支援2.x版本，推薦1.7.3版本，可自己曾經配置時，依然出現了問題，各種報錯。偶然使用了1.5版本卻配置成功了。這裡就記錄下吧，主要是是綜合考慮各個元件的相互相容性，所以這裡依然使用1.5版本。

[root@logserver ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@logserver ~]# vi /etc/yum.repos.d/elasticsearch.repo
---
[elasticsearch-1.5]
name=Elasticsearch repository for 1.5.x packages
baseurl=http://packages.elastic.co/elasticsearch/1.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
---

[root@logserver ~]# yum install elasticsearch
[root@logserver ~]# chkconfig --add elasticsearch

[root@logserver ~]# vi /etc/elasticsearch/elasticsearch.yml
  32 cluster.name: graylog

[root@logserver ~]# /etc/init.d/elasticsearch start
[root@logserver ~]# curl localhost:9200複製程式碼

3. graylog

//輸入以下命令即安裝最新版本的graylog：
$ sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-1.3- repository-el6_latest.rpm
$ sudo yum install graylog-server graylog-web
[root@logserver ~]# /etc/init.d/graylog-server start
Starting graylog-server:                                   [確定]
啟動失敗！
[root@logserver ~]# cat /var/log/graylog-server/server.log
2015-05-22T15:53:14.962+08:00 INFO  [CmdLineTool] Loaded plugins: []
2015-05-22T15:53:15.032+08:00 ERROR [Server] No password secret set. Please define password_secret in your graylog2.conf.
2015-05-22T15:53:15.033+08:00 ERROR [CmdLineTool] Validating configuration file failed - exiting.

[root@logserver ~]# yum install pwgen
[root@logserver ~]# pwgen -N 1 -s 96
zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz
[root@logserver ~]# echo -n 123456  sha256sum 
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx  -

[root@logserver ~]# vi /etc/graylog/server/server.conf
11 password_secret = zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz
...
22 root_password_sha2 = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
...
152 elasticsearch_cluster_name = graylog

[root@logserver ~]# /etc/init.d/graylog-server restart
啟動成功！

[root@logserver ~]# /etc/init.d/graylog-web start
Starting graylog-web:                                      [確定]
啟動失敗！
[root@logserver ~]# cat /var/log/graylog-web/application.log
2015-05-22T15:53:22.960+08:00 - [ERROR] - from lib.Global in main 
Please configure application.secret in your conf/graylog-web-interface.conf

2015-05-22T16:25:55.343+08:00 - [ERROR] - from lib.Global in main 
Please configure application.secret in your conf/graylog-web-interface.conf

[root@logserver ~]# pwgen -N 1 -s 96
yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
[root@logserver ~]# vi /etc/graylog/web/web.conf
---
2 graylog2-server.uris="http://127.0.0.1:12900/"
12 application.secret="yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"
---

注意：/etc/graylog/web/web.conf中的graylog2-server.uris值必須與/etc/graylog/server/server.conf中的rest_listen_uri一致
---
36 rest_listen_uri = http://127.0.0.1:12900/
---
[root@logserver ~]# /etc/init.d/graylog-web start複製程式碼

瀏覽器中輸入url: http://localhost:9000/ 可以進入graylog登入頁，
管理員帳號/密碼： admin/123456

4. 新增日誌收集器

以admin登入http://IP_adress:9000/

注：IP_adress是伺服器真實的IP地址。以下同理

4.1 進入 System > Inputs > Inputs in Cluster > Raw/Plaintext TCP Launch new input 取名”tcp 5555″ 完成建立

任何安裝nc的Linux機器上執行：

echo `date`  nc IP_adress 5555複製程式碼

瀏覽器的http://IP_adress:9000/登入後首頁，點選第三行綠色搜尋按鈕，看到一條新訊息：

Timestamp Source Message 
2016-04-10 08:49:15.280 59.70.156.6  2016年 04月 10日 星期日 16:48:28 CST複製程式碼

截圖：

說明安裝已成功！！！

4.2 進入 System > Inputs > Inputs in Cluster > GELF HTTP Launch new input
 取名”http 12201″ 完成建立
 任何安裝curl的Linux機器上執行：

curl -XPOST http://IP_adress/gelf  -p0 -d '{"short_message":"Hello there", "host":"example.org", "facility":"test", "_foo":"bar"}'複製程式碼

瀏覽器的http://IP_adress:9000/登入後，點選第三行綠色搜尋按鈕，看到一條新訊息：

Timestamp Source Message 
2016-04-10 20:50:42.936 59.70.156.6  Hello Graylog,From Bei.複製程式碼

截圖：

說明GELF HTTP Input設定成功！！!

5.時區和高亮設定

admin帳號的時區：

[root@logserver ~]# vi /etc/graylog/server/server.conf
---
30 root_timezone = Asia/Shanghai
---
[root@logserver ~]# /etc/init.d/graylog-server restart複製程式碼

其他帳號的預設時區：

[root@logserver ~]# vi /etc/graylog/web/web.conf
---
18 timezone="Asia/Shanghai"
---
[root@logserver ~]# /etc/init.d/graylog-web restart複製程式碼

允許查詢結果高亮：

[root@logserver ~]# vi /etc/graylog/server/server.conf
---
147 allow_highlighting = true
---
[root@logserver ~]# /etc/init.d/graylog-server restart複製程式碼

至此，Graylog伺服器的部署工作已完成。後期跟上配置相對應服務的文章。

參考文獻

Linux應用伺服器搭建手冊——weblogic安裝
2016-08-09
Linux伺服器Web
樹莓派搭建私人伺服器
2017-01-23
樹莓派伺服器
Linux應用伺服器搭建手冊—Weblogic服務域的建立與部署
2016-08-09
Linux伺服器Web
Docker安裝graylog
2020-12-16
Docker
教你搭建你自己的Git伺服器
2023-01-10
Git伺服器
PostgreSQL學習手冊(伺服器配置)
2015-11-12
SQL伺服器
在個人伺服器上搭建git服務，建立屬於自己的私人倉庫
2017-12-07
伺服器Git
如何搭建你自己的 Git 伺服器呢？
2023-05-14
Git伺服器
手動搭建自己的nuget伺服器及使用
2019-07-04
伺服器
graylog 客戶端的安裝配置
2017-11-14
客戶端
MYSQL PROXY搭建手冊
2015-08-10
MySql
分散式日誌元件GrayLog入門
2022-03-15
分散式元件
伺服器搭建十——MySQL資料庫伺服器搭建
2017-07-12
伺服器MySql資料庫
RHEL 6.5 搭建Rsyslog日誌伺服器和Loganalyzer日誌分析工具
2014-10-31
伺服器
搭建自己的 Git 伺服器
2018-12-03
Git伺服器
搭建自己的Anki伺服器
2018-09-05
伺服器
搭建自己的Nuget伺服器
2016-05-17
伺服器
搭建web伺服器和ftp伺服器的區別
2018-12-17
Web伺服器FTP
BT伺服器搭建
2019-01-07
伺服器
Git 伺服器搭建
2019-01-23
Git伺服器
搭建SVN伺服器
2020-12-25
伺服器
搭建Git伺服器
2015-06-16
Git伺服器
組裝一臺私人云儲存主機配置推薦家庭NAS雲端儲存伺服器搭建
2018-10-10
伺服器
Blog伺服器被黑
2016-08-15
伺服器
無法讀取此係統上以前註冊的伺服器的列表。請在“已註冊的伺服器”視窗中重新註冊您的伺服器
2015-09-08
伺服器
搭建手機web伺服器-----內網穿透（無需Root）
2020-06-08
Web伺服器內網穿透
搭建手機APP需要用到什麼伺服器
2022-07-27
APP伺服器
docker搭建私人git倉庫
2024-05-09
DockerGit
郵件伺服器如何搭建的
2023-02-17
伺服器
Windows下的git伺服器搭建
2020-10-15
WindowsGit伺服器
如何搭建“我的世界”伺服器
2018-03-25
伺服器
yum源伺服器搭建
2018-12-19
伺服器
node搭建web伺服器
2020-11-18
Web伺服器
mac搭建apache伺服器
2020-10-07
MacApache伺服器
Centos搭建git伺服器
2018-04-08
CentOSGit伺服器
資源伺服器搭建
2018-01-14
伺服器
華為雲伺服器搭建
2015-03-26
伺服器
伺服器怎麼搭建伺服器登入方法
2020-03-24
伺服器