自動化任務簡介
假設我們要在10臺linux伺服器上安裝一個nginx服務,手動是如何做的?
# 第一步, ssh登入NUM(1,n)伺服器
# 第二步,輸入對應伺服器密碼
# 第三步,執行命令: yum install nginx 迴圈操作n=10
# 第四步,執行命令: service nginx start
# 第五步,退出登入
自動化任務執行的意義
# 意義一, 提升運維工作效率,減少一份工作成本
# 意義二, 提高準確度.
自動化任務執行的應用
# 應用一, 批量命令執行
# 應用二, 定時程式任務執行
# 應用三, 批量程式應用服務安裝
# 應用四, 批量配置檔案同步
# 應用五, 批量程式碼部署
ansible配置
ansible是python中的一套模組,系統中的一套自動化工具,可以用作系統管理,自動化命令等任務
ansible優勢
# 1.ansible是python中的一套完整的自動化執行任務模組
# 2.ansible的play_book模式,不用yaml配置,對於自動化任務執行一目瞭然.
# 3.自動化場景支援豐富
ansible配置檔案
1. inventory
# 該參數列示資源清單inventory檔案的位置,資源清單就是一些Ansible需要連線管理的主機列表
# inventory = /root/ansible/hosts
2. library
# Ansible的操作動作,無論是本地或遠端,都使用一小段程式碼來執行,這小段程式碼稱為模組,這個library引數就是指向存放Ansible模組的目錄
# library = /usr/share/ansible
3. forks
# 設定預設情況下Ansible最多能有多少個程式同時工作,預設設定最多5個程式並行處理。具體需要設定多少個,可以根據控制主機的效能和被管理節點的數量來確定。
# forks = 5
4. sudo_user
# 這是設定預設執行命令的使用者,也可以在playbook中重新設定這個引數
# sudo_user = root
# 注意: 新版本已經做了修改,如ansible2.4.1下已經為:
# default_sudo_user = root
5. remote_port
# 這是指定連線被關節點的管理埠,預設是22,除非設定了特殊的SSH埠,不然這個引數是不需要被修改的
# remote_port = 22
6. host_key_checking
# 這是設定是否檢查ssh主機的祕鑰,可以設定為True或者False
# host_key_checking = False
7. timeout
# 這是設定ssh連線的超時間隔,單位是秒
# timeout = 20
8. log_path
# ansible系統預設是不記錄日誌的,如果想把ansible系統的輸出記錄到指定地方,需要設定log_path來指定一個儲存Ansible日誌的檔案
9. private_key_file
# 在使用ssh公鑰私鑰登入系統時使用的祕鑰路徑
# private_key_file=/path/to/file.pem
ansible.cfg
[defaults]
inventory = /tmp/hosts
forks = 5
default_sudo_user = root
remote_port = 22
host_key_checking = Falsetimeout = 20
log_path = /var/log/ansible.log
#private_key_file=/tmp/file.pem
ansible安裝
# 1. 通過系統的方式,yum,apt,get等
# 2. 通過python的方式
# (推薦)python ./setup.py install
easy_install ansible
pip install ansible
Ansible基礎操作
當我們將Ansible安裝好以後,可以通過一些命令開始深入瞭解Ansible了.
我們最先展示的並非那強大的集配置,部署,自動化於一身的playbook.而是如何初始化.
遠端連線概述
在我們開始前要先理解Ansible如何通過SSH與遠端伺服器連線是很重要的.
Ansible1.3及之後的版本預設會在本地的OpenSSH可用時會嘗試用其遠端通訊,這會啟用ControlPersist(一個效能特性),Kerberos,和在~/.ssh/config中的配置選項如 Jump Host setup.然而,當你使用Linux企業版6作為主控機(紅帽企業版及其衍生版如CentOS),其OpenSSH版本可能過於老舊無法支援ControIPersist,在這些作業系統中,Ansible將會退回並採用paramiko(由Python實現的高質量OpenSSH庫).如果你希望能夠使用像是Kerberized SSH之類的特性,煩請考慮使用Fedora,OS X,或Ubuntu作為你的主控機直到相關平臺上有更新版本的OpenSSH可供使用,或者啟用Ansible的"accelerated mode".在Ansible1.2及之前的版本,預設將會使用paramiko,本地OpenSSH必須通過-c ssh或者配置檔案中設定.
我們偶爾會遇到不支援SFTP的裝置,雖然很少見,但有概率中獎,可以通過ansible配置檔案切換至scp模式來與之連線.
說起遠端裝置,Ansible會預設假定你使用SSH key(當然也推薦這種)但是密碼一樣可以,通過在需要的地方新增-ask-pass選項來啟用密碼驗證,如果使用了sudo特性,當sudo需要密碼時,也同樣適當的提供了-ask-sudo-pass選項.
也許這是常識,但也值得分享:任何管理系統受益於被管理的機器在主控機附近執行.如果在雲中執行,可以考慮在使用雲中的一臺機器來執行Ansible.
作為一個進階話題,Ansible不止支援SSH來遠端連線.連線方式是外掛化的而且還有許多本地化管理的選項諸如管理 chroot, lxc, 和 jail containers.一個叫做‘ansible-pull’的模式能夠反轉主控關係並使遠端系統通過定期從中央git目錄檢出 並 拉取 配置指令來實現背景連線通訊
第一條命令(公鑰認證)
我們已經安裝ansible了,第一件事就是編輯或者建立/etc/ansible/hosts並在其中加入一個或多個遠端系統,我們的public SSH key必須在這些系統的
authorized_keys
中.
# 我們現在ansible控制機上主機名解析
tail /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
121.36.43.223 node1
120.77.248.31 node2
116.196.83.113 master
# 將解析過的主機名放到ansible配置檔案裡面
tail -2 /etc/ansible/hosts
node1
node2
# ansible控制機生成公鑰並傳給需要被控制的機器上
ssh-copy-id node1
ssh-copy-id node2
# 因為考慮到安全問題,會有主機祕鑰的檢查,但如果在內網非常信任的伺服器就沒必要了.
sed -i 's/# *StrictHostKeyChecking *ask/StrictHostKeyChecking no/g' /etc/ssh/ssh_config
# 然後我們就可以執行第一條命令來檢視能ping通控制的所有節點.
ansible all -m ping
node1 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
node2 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
Ansible會像SSH那樣試圖用你的當前使用者名稱來連線你的遠端機器.要覆寫遠端使用者名稱,只需使用’-u’引數. 如果你想訪問 sudo模式,這裡也有標識(flags)來實現:
ansible all -m ping -u bruce
ansible all -m ping -u bruce --sudo
ansible all -m ping -u bruce --sudo --sudo-user batman
(如果你碰巧想要使用其他sudo的實現方式,你可以通過修改Ansible的配置檔案來實現.也可以通過傳遞標識給sudo(如-H)來設定.) 現在對你的所有節點執行一個命令:
ansible all -a "/bin/echo hello"
node1 | CHANGED | rc=0 >>
hello
node2 | CHANGED | rc=0 >>
hello
公鑰認證
Ansible1.2.1及其之後的版本都會預設啟用公鑰認證
如果有個主機重新安裝並在“known_hosts”中有了不同的key,這會提示一個錯誤資訊直到被糾正為止.在使用Ansible時,你可能不想遇到這樣的情況:如果有個主機沒有在“known_hosts”中被初始化將會導致在互動使用Ansible或定時執行Ansible時對key資訊的確認提示.
如果你想禁用此項行為並明白其含義,你能夠通過編輯 /etc/ansible/ansible.cfg or ~/.ansible.cfg來實現:
[defaults]
host_key_checking = False
同樣注意在paramiko 模式中 公鑰認證 相當的慢.因此,當使用這項特性時,切換至’SSH’是推薦做法.
密碼認證
因為我們接下來要將存取的密碼放到主機清單甚至存到Mysql裡面,我們可以裝一個ssh_pass
apt-get install sshpass
我們將之前的公鑰.ssh目錄都刪掉,主機名解析不用管.
注意,刪除.ssh目錄過後記得關閉主機祕鑰檢查.
tail -3 /etc/hosts
121.36.43.223 node1
120.77.248.31 node2
116.196.83.113 master
tail -2 /etc/ansible/hosts
node1
node2
ansible all -m ping -k
# 並不是真的ping,只是檢查客戶端的22號埠是否提供工作.不指定使用者預設root使用者
# -k 輸入密碼
# -m 指定模組
SSH password:
node1 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
node2 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
# 如果不想指定使用者名稱和密碼,避免ansible每次執行到相應主機都會要求輸入密碼.
tail -2 /etc/ansible/hosts
node1 ansible_ssh_user='root' ansible_ssh_pass='youmen'
node2 ansible_ssh_user='root' ansible_ssh_pass='youmen' ansible_ssh_port=22
ansible all -m ping
node1 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
node2 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
Ansible常用模組
常用模組
塊
模組名 | 作用 | 用例 |
---|---|---|
command | 預設模組 | ansible webserver -a "/sbin/reboot" -f 10 |
shell | 執行shell命令 | ansible test -m shell -a "echo $HOSTNAME" |
filetransfer | 檔案傳輸 | ansible test -m copy -a "src=/etc/hosts dest=/tmp/hosts" |
managingpackages | 管理軟體包 | ansible test -m yum -a "name=nginx state=present" |
user and groups | 使用者和組 | ansible test -m user -a "name=jeson password=123456" |
Deploying | 部署模組 | ansible test -m git -a "repo=https://github.com/iopsgroup/imoocc dest=/opt/iops version=HEAD" |
managingservices | 服務管理 | ansible test -m service -a "name=nginx state=started" |
BackgroundOperatiions | 後臺執行 | ansible test -B 3600 -a "/usr/bin/running_operation --do-stuff" |
gatheringfacts | 蒐集系統資訊 | ansible test -m setup |
playbook
playbook由YAML語言編寫,YAML參考了其他多種語言,包括: XML,C語言,Python,Perl以及電子郵件格式RFC2822,Clark Evans在2001年5月首次發表了這種語言,另外Ingy dt Net與Oren-Kiki也是這語言的共同設計者.
playbook的優勢
# 1. 功能比adhoc更全
# 2. 控制好依賴
# 3. 展現更直觀
# 4. 持久使用
ansible-playbook執行常用命令引數:
執行方式:ansible-playbook playbook.yml [options]
-u REMOTE_USER, --user=REMOTE_USER
# ssh 連線的使用者名稱
-k, --ask-pass
# ssh登入認證密碼
-s, --sudo
# sudo 到root使用者,相當於Linux系統下的sudo命令
-U SUDO_USER, --sudo-user=SUDO_USER
# sudo 到對應的使用者
-K, --ask-sudo-pass
# 使用者的密碼(—sudo時使用)
-T TIMEOUT, --timeout=TIMEOUT
# ssh 連線超時,預設 10 秒
-C, --check
# 指定該引數後,執行 playbook 檔案不會真正去執行,而是模擬執行一遍,然後輸出本次執行會對遠端主機造成的修改
-e EXTRA_VARS, --extra-vars=EXTRA_VARS
# 設定額外的變數如:key=value 形式 或者 YAML or JSON,以空格分隔變數,或用多個-e
-f FORKS, --forks=FORKS
# 程式併發處理,預設 5
-i INVENTORY, --inventory-file=INVENTORY
# 指定 hosts 檔案路徑,預設 default=/etc/ansible/hosts
-l SUBSET, --limit=SUBSET
# 指定一個 pattern,對- hosts:匹配到的主機再過濾一次
--list-hosts
# 只列印有哪些主機會執行這個 playbook 檔案,不是實際執行該 playbook
--list-tasks
# 列出該 playbook 中會被執行的 task
--private-key=PRIVATE_KEY_FILE
# 私鑰路徑
--step
# 同一時間只執行一個 task,每個 task 執行前都會提示確認一遍
--syntax-check
# 只檢測 playbook 檔案語法是否有問題,不會執行該 playbook
-t TAGS, --tags=TAGS
# 當 play 和 task 的 tag 為該引數指定的值時才執行,多個 tag 以逗號分隔
--skip-tags=SKIP_TAGS
# 當 play 和 task 的 tag 不匹配該引數指定的值時,才執行
-v, --verbose
# 輸出更詳細的執行過程資訊,-vvv可得到所有執行過程資訊。
使用場景
yaml語法
- playbook配置
---
- hosts: 39.108.140.0
remote_user: root
vars:
touch_file: youmen.file
tasks:
- name: touch file
shell: "touch /tmp/{{touch_file}}"
yaml主要由三個部分組成:
> hosts部分:
# 使用hosts指示使用哪個主機或主機組來執行下面的tasks,
# 每個playbook都必須指定hosts,hosts也可以使用萬用字元格式。
# 主機或主機組在inventory清單中指定,可以使用系統預設的/etc/ansible/hosts,
# 也可以自己編輯,在執行的時候加上-i選項,指定清單的位置即可。
# 在執行清單檔案的時候,--list-hosts選項會顯示那些主機將會參與執行task的過程中。
> remote_user:指定遠端主機中的哪個使用者來登入遠端系統,
# 在遠端系統執行task的使用者,可以任意指定,也可以使用sudo,
# 但是使用者必須要有執行相應task的許可權。
> tasks:指定遠端主機將要執行的一系列動作。tasks的核心為ansible的模組,
# 前面已經提到模組的用法。tasks包含name和要執行的模組,name是可選的,
# 只是為了便於使用者閱讀,不過還是建議加上去,模組是必須的,同時也要給予模組相應的引數。
執行
ansible-playbook -i /tmp/hosts --list-hosts ./f1.yaml
ansible-playbook ./f1.yaml
# 執行結果返回
# 紅色: 表示有task執行失敗或者提醒的資訊
# 黃色: 表示執行了且改變了遠端主機狀態
# 綠色: 表示執行成功
yaml語法和資料結構
yaml語法
YAML格式是類似於JSON的檔案格式,以便於人理解和閱讀,同時便於書寫,首先學習瞭解一下YAML的格式,對我們後面書寫playbook很有幫助.
以下為playbook常用到的YAML格式
# 大小寫敏感
# 使用縮緊表示層級關係(只能空格不能使用tab)
# yaml檔案以"---"作為文件的開始
# 在同一行中,#之後的內容表示註釋,類似於shell,python和ruby.
# YAML中的列表元素以"-"開頭,然後緊跟著一個空格,後面為元素內容,就像這樣
- apple
- orange
等價於JSON的這種格式
[
"apple",
"orange"
]
# 同一個列表中的元素應該保持相同的縮排,否則會被當做錯誤處理.
# play中hosts,variables,roles,tasks等物件的表示方法都是鍵值中間以":"分割表示,":"後面還要增加一個空格.
變數定義方式
變數名可以為字母,數字以及下劃線
playbook裡的變數
1. playbook的yaml檔案中定義變數賦值
> 2. --exxtra-vars執行引數賦給變數
> 3. 在檔案中定義變數
> 4. 註冊變數
# register關鍵字可以儲存指定命令的輸出結果到一個自定義的變數中.
---
- hosts: database
remote_user: root
vars:
touch_file: youmen_file
tasks:
- name: get date
command: date
register: date_output
- name: touch
shell: "touch /tmp/{{touch_file}}"
- name: echo date_output
shell: "echo {{date_output.stdout}}>/tmp/{{touch_file}}"
資料結構
yaml支援的資料結構
字典
{name:jeson}
列表
- Apple
- Mango
- Orange
純量: 數字,布林,字串
條件判斷
迴圈
迴圈型別 | 關鍵字 | |
---|---|---|
標準迴圈 | with_items | |
巢狀迴圈 | with_nested | |
遍歷字典 | with_dict | |
並行遍歷列表 | with_together | |
遍歷列表和索引 | with_indexed_items | |
遍歷檔案列表的內容 | with_file | |
遍歷目錄檔案 | with_fileglog | |
重試迴圈 | until | |
查詢第一個匹配檔案 | with_first_found | |
隨機選擇 | with_random_choice | |
在序列中迴圈 | with_sequence |
條件迴圈語句複用
種類一, 標準迴圈
---
- hosts: nginx
tasks:
- name: add serveral users
user: name={{ item.name }} state=present groups={{ item.groups }}
with_items:
- { name: 'testuser1',groups: 'wheel' }
- { name: 'testuser2',groups: 'root' }
種類二, 遍歷字典
---
- hosts: nginx
remote_user: root
tasks:
- name: add serveral users
user: name={{ item.key }} state=present groups={{ item.value }}
with_dict:
{ 'testuser3':'wheel','testuser4':'root' }
種類三, 遍歷目錄中內容
---
- hosts: nginx
remote_user: root
tasks:
- file: dest=/tmp/aa state=directory
- copy: src={{ item }} dest=/tmp/bb owner=root mode=600
with_fileglob:
- aa/*n
條件語句結合迴圈語句使用場景
---
- hosts: nginx
remote_user: root
tasks:
- debug: msg="{{ item.key }} is the winner"
with_dict: {'jeson':{'english':60,'chinese':30},'tom':{'english':20,'chinese':30}}
when: item.value.english >= 10
異常
異常處理和相關操作
異常處理
1.忽略錯誤
預設會檢查命令和模組的返回狀態,遇到錯誤就中斷playbook的執行
加入引數: ignore_errors: yes
Example
- hosts: nginx
remote_user: root
tasks:
- name: ignore false
command: /bin/false
ignore_errors: yes
- name: touch a file
file: path=/tmp/test22 state=touch mode=0700 owner=root group=root
2. tags標籤處理
---
- hosts: nginx
remote_user: root
tasks:
- name: get process
shell: touch /tmp/change_test2
changed_when: false
打標籤
意義: 通過tags和任務物件進行捆綁,控制部分或者指定的task執行
# 打標籤
# 對一個物件打一個標籤
# 對一個物件打多個標籤
# 打標籤的物件包括: 單個task任務,include物件,roles物件等.
標籤使用
-t : 執行指定的tag標籤任務
--skip-tags: 執行 --skip-tags之外的標籤任務
- 自定義change狀態
---
- hosts: nginx
remote_user: root
tasks:
- name: get process
shell: ps -ef |wc -l
register: process_count
failed_when: process_count > 3
- name: touch a file
file: path=/tmp/test1 state=touch mode=0700 owner=root group=root
roles角色和場景演練
使用roles角色
include的用法
include_tasks/include: 動態的包含tasks任務列表執行
什麼是roles
是一種利用在大型playbook中的劇本配置模式,在這自己特定結構
為什麼需要用到roles
和麵向物件開發思想相似
利用於大型的專案任務中,儘可能的將公共的任務,變數等內容獨立
劇本結構和設計思路
ansible官方網站的建議playbook劇本結構如下:
production # 正式環境的inventory檔案
staging #測試環境用得inventory檔案
group_vars/ # 機器組的變數檔案
group1
group2
host_vars/ #執行機器成員的變數
hostname1
hostname2
================================================
site.yml # 主要的playbook劇本
webservers.yml # webserver型別服務所用的劇本
dbservers.yml # 資料庫型別的服務所用的劇本
roles/
webservers/ #webservers這個角色相關任務和自定義變數
tasks/
main.yml
handlers/
main.yml
vars/
main.yml
dbservers/ #dbservers這個角色相關任務和定義變數
...
common/ # 公共的
tasks/
main.yml
handlers/
main.yml # handlers file.
vars/ # 角色所用到的變數
main.yml #
===============================================
templates/ #
ntp.conf.j2 # 模版檔案
files/ # 用於上傳存放檔案的目錄
bar.txt
foo.sh
meta/ # 角色的依賴
main.yml
場景演練
Nginx工程方式的編譯安裝
# 劇本分解
ansible.cfg
- files # 存放上傳檔案
- index.html
- nginx # 系統init中,控制nginx啟動指令碼
- nginx-1.12.2.tar.gz # nginx的安裝包檔案
production # 線上的主機配置檔案
roles # roles角色執行
- apache
- common
tasks
main.yml
vars
main.yml
meta
nginx
- handlers 通過notify觸發
main.yml
- tasks
- basic.yml
- main.yml
- nginx.yml
- vars
= main.yml
tasks
staging 線下測試環境使用的主機配置檔案
- templates 模板(配置,html)
- nginx1.conf nginx的自定義conf檔案
webserver.yaml web服務相關主執行檔案
Ansible的核心類介紹
核心類 | 用途 | 所在的模組路徑 |
---|---|---|
DataLoader | 用於讀取yaml,json格式的檔案 | ansible.parsing.dataloader |
Play | 儲存執行hosts的角色資訊 | ansible.playbook.play |
TaskQueueManager | ansible底層用到的任務佇列 | ansible.executor.task_queue_manager |
PlaybookExecutor | 核心累執行playbook劇本 | ansible.executor.playbook_executor |
CallbackBase | 狀態回撥,各種成功失敗的狀態 | ansible.plugins.callback |
InventoryManager | 用於匯入inventory檔案 | ansible.inventory.manager |
VariableManager | 用於儲存各類變數資訊 | ansible.vars.manager |
Host,Group | 用於操作單個主機或者主機組資訊 | ansible.inventory.host |
InventoryManager
用來管理主機和主機組資訊
from ansible.parsing.dataloader import DataLoader
from ansible.inventory.manager import InventoryManager
# InventoryManager類
loader = DataLoader()
InventoryManager(loader=loader,sources=['youmen_hosts'])
# 1. 新增主機到指定主機組 add_host()
# 2. 檢視主機組資源get_groups_dict()
# 3. 獲取指定的主機物件get_host()
# VariableManager類
# loader: 例項物件
# inventory: 呼叫InventoryManager返回的例項物件.
VariableManager(loader=loader,inventory=inventory)
# 檢視主機變數方法 get_vars()
# 設定主機變數方法set_host_variable()
# 新增擴充套件變數extra_vars
ad-hoc模式呼叫場景
ansible -m command -a "ls /tmp" testgroup -i /etc/ansible/hosts -f 5