【工具】一款基於go語言的agent

楊奇龍發表於2017-05-05
Go
一 介紹
     在構建資料庫自動化運維繫統的時候，資料庫伺服器上必須要有一個agent來執行web伺服器端發起的命令，我們研究了好幾種技術Celery，Redis Queue 或者基於socket實現，當然還有自己寫，因為之前有同事已經完成了一個agent---servant，在和同事溝通之後，我們決定複用servant,不用重複造輪子。servant是一款基於go語言編寫的，通過http協議呼叫，提供許可權認證和遠端呼叫，支援非同步執行命令的agent ，滿足我們目前資料庫備份任務，定時收集資料庫後設資料資訊，定時校驗備份的有效性的任務需求。本文是一篇how to 文件，相對比較詳細的介紹如何安裝和使用servant，希望對讀者朋友有所幫助。

二安裝
2.1 軟體準備
因為該agent是基於go語言編寫的，所以要安裝 go語言包
  1. yum install -y go
  2. cd /opt/
  3. git clone https://github.com/xiezhenye/servant.git
  4. cd /opt/servant
  5. 方式一 make rpm
  6. 方式二 make
2.2 目錄結構
編譯之後檢視主要的目錄結構
bin           # 編譯的二進位制檔案 
conf         # 配置檔案目錄
example   #
README.md  
scripts     #servantctl 執行檔案 用於啟停 檢視狀態等
src          #原始碼檔案
維護servant的操作命令 
/opt/servant/scripts/servantctl (start|stop|restart|status|help)
啟動的時候遇到報錯請到/data/logs/servant/servant.log 檢視log的資訊哪裡有錯

2.3 配置檔案詳解
預設在/opt/servant/conf裡面有配置檔案 servant.xml
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <config>
  3.     <server>
  4.         <listen>:2465</listen>  #監聽的埠
  5.         <auth enabled="true">   #呼叫的時候是否啟用 許可權 驗證，生產環境建議開啟
  6.             <maxTimeDelta>30</maxTimeDelta> # 啟動許可權驗證的時候 超時時間，超過30s 則認為該呼叫無效
  7.         </auth>
  8.         <log>/data/logs/servant/servant.log</log> # 日誌目錄log ，這是有贊標準的日誌目錄，其他朋友在自己環境需要適當調整
  9.     </server>
  10.     <!-- ...... -->
  11. </config
example 的配置檔案，使用的時候需要根據實際情況進行調整
  1. <?xml version="1.0" encoding="utf-8" ?>
  2. <config>
  3.     <server> ##server和/opt/servant/conf/servant.xml 配置是一樣的。
  4.         <listen>:2465</listen>
  5.         <auth enabled="0">
  6.             <maxTimeDelta>300</maxTimeDelta>
  7.         </auth>
  8.         <log>servant.log</log>
  9.     </server>
  10. #commands 定義了一個可執行的命令組，其中包含了多個command，其中
  11. lang 可以是exec 或者bash
  12. id 是每一組command的標示，runas標示以什麼樣的使用者執行。
  13. background="true" 標示以後臺方式執行，並且servant 立即返回
  14.     <commands id="db1">
  15.         <command id="foo" runas="mysql" lang="bash">
  16.             <code>echo "hello world $(whoami)"</code>
  17.         </command>
  18.         <command id="grep" lang="exec">
  19.             <code>grep hello</code>
  20.         </command>
  21.         <command id="sleep" timeout="5" lang="exec">
  22.             <code> sleep ${t}</code>
  23.         </command>
  24.     </commands>
  25. # daemon
  26.     <daemon id="daemon1" retries="10" lang="bash">
  27.         <code>sleep 10000</code>
  28.     </daemon>
  29. # 定時器 ，定期執行某一個命令
  30. tick 執行命令的間隔
  31. deadline 命令執行的最長時間，如果為5s 則命令最長執行5s ，超過5s會被kill掉？
  32.     <timer id="xx" tick="5" deadline="5" lang="bash">
  33.         <code>
  34.         <![CDATA[
  35.              date >>/tmp/timer.log
  36.         ]]>
  37.         </code>
  38.     </timer>
  39. #檔案操作類，和commands類似，可以配置多個操作檔案的命令，主要包含 獲取檔案內容，建立檔案，刪除檔案，讀取指定位元組範圍
  40. root 表示有許可權訪問指定的目錄，例子中是訪問 /tmp/ 目錄下的檔案。
  41.     <files id="db1">
  42.         <dir id="binlog1">
  43.             <root>/tmp/</root>
  44.             <allow>get</allow>
  45.             <allow>head</allow>
  46.             <allow>post</allow>
  47.             <allow>delete</allow>
  48.             <allow>put</allow>
  49.             <pattern>log-bin\.\d+</pattern> #正規表示式
  50.         </dir>
  51.     </files>
  52. #這個比較少用 訪問資料庫
  53.     <database id="mysql" driver="mysql" dsn="root:@tcp(127.0.0.1:3306)/test">
  54.         <query id="select_1">select 1;</query>
  55.     </database>
  56. #
  57.     <vars id="vars">
  58.         <var id="foo">
  59.             <value>bar</value>
  60.         </var>
  61.         <var id="hello" expand="true">
  62.             <value>${world}</value>
  63.         </var>
  64.     </vars>
  65. # 配合auth=true的時候一起使用，訪問的時候 必須使用和配置檔案中指定的user ，否則不能呼叫servant
  66.     <user id="user1">
  67.         <key>someKey</key>
  68.         <host>192.168.1.0/24</host> #指定允許訪問servant 的ip源地址。通常建議使用本地呼叫，更加安全。
  69.         <files id="db1" />
  70.         <commands id="db1" />
  71.     </user>
  72. </config>
以上針對常用的配置做了解釋，更加詳細的解釋可以參考 servant的readme.md
2.4 具體的測試用例   為了測試方便，先去掉許可權認證。
comand 支援get 和post 兩種方式呼叫
  1. [root@rac4 22:38:05 /opt/servant/conf/extra]
  2. # curl http://127.0.0.1:2465/commands/db1/foo
  3. hello world mysql
  4. [root@rac4 22:40:07 /opt/servant/conf/extra]
  5. # echo "hello world" | curl -XPOST http://127.0.0.1:2465/commands/db1/grep -d @-
  6. hello world
  7. [root@rac4 22:40:08 /opt/servant/conf/extra]
  8. # echo "hxxello world" | curl -XPOST http://127.0.0.1:2465/commands/db1/grep -d @-
檔案型別操作
獲取檔案內容
  1. [root@rac4 22:38:00 /opt/servant/conf/extra]
  2. # curl http://127.0.0.1:2465/files/db1/test/yz.log
  3. youzan ,nihao ,yangyi dba
建立檔案
  1. [root@rac4 22:41:56 /opt/servant/conf/extra]
  2. # curl -XPOST http://127.0.0.1:2465/files/db1/test/54.txt -d "hello world "
  3. 驗證上面的寫入情況
  4. [root@rac4 22:42:03 /opt/servant/conf/extra]
  5. # curl http://127.0.0.1:2465/files/db1/test/54.txt
  6. hello world
更新檔案內容
  1. [root@rac4 22:45:13 /opt/servant/conf/extra]
  2. # curl -XPUT http://127.0.0.1:2465/files/db1/test/54.txt -d "yangyi dba"
  3. [root@rac4 22:45:26 /opt/servant/conf/extra]
  4. # curl http://127.0.0.1:2465/files/db1/test/54.txt
  5. yangyi dba
開啟許可權驗證，生產環境下從安全的角度考慮建議開啟許可權驗證
修改配置檔案 啟用auth 為true 和設定user 配置
  1. [root@rac4 22:16:50 /opt/servant/conf]
  2. # uri='/commands/db1/foo'
  3. # ts=$(date +%s)
  4. # key=someKey
  5. # curl -H "Authorization: ${user} ${ts} $(echo -n "${user}${key}${ts}GET${uri}"|sha1sum|cut -f1 -d' ')" "http://127.0.0.1:2465${uri}"
  6. [root@rac4 22:30:30 /opt/servant/conf]
log報錯 執行失敗，因為ts 的實際時間是22:16:50，執行的實際時間是22:30:30 超時時間是30s，故呼叫失敗
  1. 2017/05/05 22:30:29 INFO (6) [commands] + 127.0.0.1:42798 GET /commands/db1/foo
  2. 2017/05/05 22:30:30 WARN (6) [commands] - auth failed: timestamp delta too large
重新設定時間 ts  再次執行 成功。
  1. [root@rac4 22:30:58 /opt/servant/conf]
  2. # ts=$(date +%s)
  3. [root@rac4 22:31:02 /opt/servant/conf]
  4. # curl -H "Authorization: ${user} ${ts} $(echo -n "${user}${key}${ts}GET${uri}"|sha1sum|cut -f1 -d' ')" "http://127.0.0.1:2465${uri}"
  5. hello world mysql
  6. 日誌輸出
  7. 2017/05/05 22:31:05 INFO (7) [commands] + 127.0.0.1:42808 GET /commands/db1/foo
  8. 2017/05/05 22:31:05 INFO (7) [commands] command: [bash -c echo "hello world $(whoami)"]
  9. 2017/05/05 22:31:05 INFO (7) [commands] process started. pid: 27706
  10. 2017/05/05 22:31:05 INFO (7) [commands] - execution done
2.5 安裝過程中遇到的問題
1 安裝的時候 需要建立 
mkdir -p /opt/servant/conf/extra
2 認證許可權問題
因為預設的/opt/servant/conf/servant.xml 的auth =true ,需要改為false。
不然使用curl 執行命令
curl http://127.0.0.1:2465/commands/db1/foo 
日誌裡面報錯
2017/05/05 21:52:30 INFO (3) [commands] + 127.0.0.1:41988 GET /commands/db1/foo
2017/05/05 21:52:31 WARN (3) [commands] - auth failed: bad auth header

三 總結
  總體上而言 ，servant能夠滿足大部分的agent需求，歡迎大家使用，如果有任何問題 可以聯絡我反饋或者聯絡 作者  
如果您覺得對你的devops有幫助 ，可以贊助 一瓶飲料。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/22664653/viewspace-2138562/，如需轉載，請註明出處，否則將追究法律責任。

相關文章