rsync資料同步工具應用指南

weixin_34050427發表於2017-07-15

一、什麼是rsync

rsync是一款開源,快速,多功能的可實現增量的本地或遠端的資料映象同步備份的優秀工具。適用於多個平臺。從軟體名稱可以看出來是遠端同步的意思(remote sync)。可使本地主機不同分割槽或目錄之間及本地和遠端兩臺主機之間的資料快速同步映象,遠端備份等功能。

在同步備份時,預設情況下,rsync通過其獨特的“quick check”演算法,僅同步大小或者最後修改時間發生變化的檔案或目錄(也可根據許可權,屬主等變化同步,需要制定引數)。甚至是隻同步一個檔案裡變化的內容部分,所以可以實現快速的同步資料的功能。

提示:傳統的cp,scp工具拷貝每次均為完整拷貝,而rsync除了完整拷貝,還具備增量拷貝的功能,因此從此效能及效率上更勝一籌。

Rsync的特性如下:

1)支援拷貝特殊檔案如連結,裝置等
2)可以有排除指定檔案或目錄同步的功能,相當於打包命令tar
3)可以保持原來檔案或目錄的許可權,時間,軟硬連結等所有屬性均不改變。
4)可實現增量同步,即只同步發生變化的資料,因此資料傳輸效率更高
5)可以使用rcp,rsh,ssh等方式來配合傳輸檔案,也可以通過直接的socker連結
6)支援匿名的或認證的程式模式傳輸,方便進行資料備份及映象。

[1]核心演算法介紹:

假定在名為α和β的兩臺計算機之間同步相似的檔案 A 與 B ,其中α對檔案 A 擁有訪問權,β對檔案 B 擁有訪問權。並且假定主機α與β之間的網路頻寬很小。那麼 rsync 演算法將通過下面的五個步驟來完成:

  1. β將檔案 B 分割成一組不重疊的固定大小為 S 位元組的資料塊。最後一塊可能會比 S 小。
  2. β對每一個分割好的資料塊執行兩種校驗:一種是 32 位的滾動弱校驗,另一種是 128 位的 MD4 強校驗。
  3. β將這些校驗結果發給α。
  4. α通過搜尋檔案 A 的所有大小為 S 的資料塊 ( 偏移量可以任選,不一定非要是 S 的倍數 ) ,來尋找與檔案 B 的某一塊有著相同的弱校驗碼和強校驗碼的資料塊。這項工作可以藉助滾動校驗的特性很快完成。
  5. α發給β一串指令來生成檔案 A 在β上的備份。這裡的每一條指令要麼是對檔案 B 經擁有某一個資料塊而不須重傳的證明,要麼是一個資料塊,這個資料塊肯定是沒有與檔案 B 的任何一個資料塊匹配上的。
    -------------------------------------小結------------------------------------------------
    rsync就是會同步我們指定的兩端目錄之間的資料,這個資料可以是特殊的資料。同步之前就先進行兩端的資料的比對,只會同步兩者之間不同的部分,並保留檔案原本的屬性。並且支援匿名的方式進行同步傳輸。所以rsync在備份,同步上就會較為快速。

二、軟體安裝

http://rsync.samba.org/ rsync的官方網站
1)編譯安裝
很簡單那就直接解壓
tar zxf rsync-3.1.0.tar.gz
cd rsync-3.1.0
./configure
make
make install
提示:伺服器和客戶端均要安裝rsync

三、伺服器端rsync部署

rsync的啟動

1、 守護程式啟動rsync
[root@www rsync-2.4.6]# /usr/local/bin/rsync --daemon即可啟動。
rsync預設服務埠為873,伺服器在該埠接收客戶的匿名或者認證方式的請求。
2、開機啟動
2.1)inetd.conf編輯/etc/services,加入行rsync 873/tcp,指定rsync的服務埠是873。編加/etc/inetd.conf,加入rsync stream tcp nowait root /bin/rsync rsync --daemon
注:對於xinetd,設定方法類似。
2.2)加入rc.local將啟動命令加入rc.local中:/usr/local/bin/rsync --daemon

rsync的兩種工作方式:
  1. 傳輸本地檔案
    2)傳輸服服務端和客戶端之間的資料
傳輸本地檔案

具體的rsync命令引數後續會講

[root@CT5_6-32-220-NFS01tmp]# rsync -avz /tmp/dir01/   /tmp/dir02/
building file list ... done
./
test01
sent 105 bytes received 48 bytes  306.00bytes/sec
total size is 0 speedup is 0.00
[root@CT5_6-32-220-NFS01 tmp]# tree
.
|-- dir01
|   `--test01
|-- dir02
|   `--test01

可以看到已經成功的拷貝了。並且要注意/dir01/表示目錄下的所有內容 /dir01表示的目錄本身
次例子是拷貝目錄下的內容所以要加上/dir01/如果是要將/dir01整個目錄拷貝到/dir02下,那麼就要寫/dir01 --->注意後面沒有/
[root@CT5_6-32-220-NFS01 tmp]# rsync -avz /tmp/dir01 /tmp/dir02/

這樣拷貝的是目錄本身

building file list ... done
dir01/
dir01/test01
sent 111 bytes received 48 bytes  318.00bytes/sec
total size is 0 speedup is 0.00
[root@CT5_6-32-220-NFS01 tmp]# tree
|-- dir01
|   `--test01
|-- dir02
|   |-- dir01
|   |   `-- test01
|   `--test01

服務端和客戶端傳輸

1、服務端配置檔案

rsync伺服器的配置檔案為/etc/rsyncd.conf,其控制認證、訪問、日誌記錄等等。該檔案是由一個或多個模組結構組成。一個模組定義以方括弧中的模組名開始,直到下一個模組定義開始或者檔案結束,模組中包含格式為name = value的引數定義。
每個模組其實就對應需要備份的一個目錄樹,比方說在我們的例項環境中,有三個目錄樹需要備份:/www//home/web_user1//home/web_user2/,那麼就需要在配置檔案中定義三個模組,分別對應三個目錄樹。配置檔案是行為單位的,也就是每個新行都表示一個新的註釋、模組定義或者引數賦值。以#開始的行表示註釋,以""結束的行表示下面一行是該行的繼續。引數賦值中等號後可能是一個大小寫不敏感的字串、一個以trure/false表示的布林值。

引數說明:
全域性引數:

在檔案中[modlue模組名]之前的所有引數都是全域性引數,當然也可以在全域性引數部分定義模組引數,這時候該引數的值就是所有模組的預設值。

全域性引數 描述
motd file motd file
log file 指定rsync的日誌檔案,而不將日誌傳送給syslog。
pid file 指定rsync的pid檔案。
syslog facility 指定rsync傳送日誌訊息給syslog時的訊息級別,常見的訊息級別是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。預設值是daemon。

模組引數:

在全域性引數之後就需要定義一個或多個模組了,模組中可以定義以下引數:模組以[模組名]開始,直到另一個模組的開始結束

模組引數 描述
comment 給模組指定一個描述,該描述連同模組名在客戶連線得到模組列表時顯示給客戶。預設沒有描述定義。
path 指定該模組的供備份的目錄樹路徑,該引數是必須指定的
use chroot 如果"use chroot"指定為true,那麼rsync在傳輸檔案以前首先chroot到path引數所指定的目錄下。這樣做的原因是實現額外的安全防護,但是缺點是需要以roots許可權,並且不能備份指向外部的符號連線所指向的目錄檔案。預設情況下chroot值為true。推薦:?
max connections 指定該模組的最大併發連線數量以保護伺服器,超過限制的連線請求將被告知隨後再試。預設值是0,也就是沒有限制。
lock file 指定支援max connections引數的鎖檔案,預設值是/var/run/rsyncd.lock
read only 該選項設定是否允許客戶上載檔案。如果為true那麼任何上載請求都會失敗,如果為false並且伺服器目錄讀寫許可權允許那麼上載是允許的。預設值為true。
list 該選項設定當客戶請求可以使用的模組列表時,該模組是否應該被列出。如果設定該選項為false,可以建立隱藏的模組。預設值是true。
uid 該選項指定當該模組傳輸檔案時守護程式應該具有的uid,配合gid選項使用可以確定哪些可以訪問怎麼樣的檔案許可權,預設值是"nobody"。
gid 該選項指定當該模組傳輸檔案時守護程式應該具有的gid。預設值為"nobody"。就是說當同步到這個模組的時候,rsync守護進行要使用什麼樣的UID和GID許可權來讀取本地檔案。(疑問:不懂是否是這樣理解)
exlude 用來指定多個由空格隔開的多個模式列表,並將其新增到exclude列表中。這等同於在客戶端命令中使用--exclude來指定模式,不過配置檔案中指定的exlude模式不會傳遞給客戶端,而僅僅應用於伺服器。一個模組只能指定一個exlude選項,但是可以在模式前面使用"-"和"+"來指定是 exclude還是include。但是需要注意的一點是該選項有一定的安全性問題,客戶很有可能繞過exlude列表,如果希望確保特定的檔案不能被訪問,那就最好結合uid/gid選項一起使用。
include 用來指定多個由空格隔開的多個rsync並應該exlude的模式列表。這等同於在客戶端命令中使用--include來指定模式,結合 include和 exlude可以定義複雜的exlude/include規則。一個模組只能指定一個include選項,但是可以在模式前面使用"-"和"+"來指定是 exclude還是include。
auth users 該選項指定由空格或逗號分隔的使用者名稱列表,只有這些使用者才允許連線該模組。這裡的使用者和系統使用者沒有任何關係。如果"auth users"被設定,那麼客戶端發出對該模組的連線請求以後會被rsync請求challenged進行驗證身份這裡使用的 challenge/response認證協議。使用者的名和密碼以明文方式存放在"secrets file"選項指定的檔案中。預設情況下無需密碼就可以連線模組(也就是匿名方式)。
secrets file 該選項指定一個包含定義使用者名稱:密碼對的檔案。只有在"auth users"被定義時,該檔案才有作用。檔案每行包含一個username:passwd對。一般來說密碼最好不要超過8個字元。沒有預設的 secures file名,需要限式指定一個。(例如:/etc/rsyncd.secrets)
hosts allow 該選項指定哪些IP的客戶允許連線該模組。客戶模式定義可以是以下式: 192.168.1.1 指定只有某個IP地址 192.168.1.0/24 指定某個網路的客戶端Backup.linux.com 指定某個主機名才能訪問預設是允許所有主機連線。
hosts deny 指定不允許連線rsync伺服器的機器,可以使用hosts allow的定義方式來進行定義。預設是沒有hosts deny定義
ignore errors 指定rsyncd在判斷是否執行傳輸時的刪除操作時忽略server上的IP錯誤,一般來說rsync在出現IO錯誤時將將跳過--delete操作,以防止因為暫時的資源不足或其它IO錯誤導致的嚴重問題。
ignore nonreadable 指定rysnc伺服器完全忽略那些使用者沒有訪問許可權的檔案。這對於在需要備份的目錄中有些檔案是不應該被備份者得到的情況是有意義的。
transfer logging 使rsync伺服器使用ftp格式的檔案來記錄下載和上載操作在自己單獨的日誌中。
log format 通過該選項使用者在使用transfer logging可以自己定製日誌檔案的欄位。其格式是一個包含格式定義符的字串,可以使用的格式定義符如下所示:預設log格式為:"%o %h [%a] %m (%u) %f %l",一般來說,在每行的頭上會新增"%t [%p] "。在原始碼中同時釋出有一個叫rsyncstats的perl指令碼程式來統計這種格式的日誌檔案。%h 遠端主機名%a 遠端IP地址%m 模組名%t 當前時間%f 檔名%l 檔案長度字元數
timeout 通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync伺服器不會永遠等待一個崩潰的客戶。超時單位為秒鐘,0表示沒有超時定義,這也是預設值。對於匿名rsync伺服器來說,一個理想的數字是600。
dont compress 用來指定那些不進行壓縮處理再傳輸的檔案,預設值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz 因為這些檔案已經經過壓縮咯,預設不用修改。

伺服器配置例項分析

有兩臺伺服器:A和B。其中A是主web伺服器,具有域名www.atong.com(192.168.1.1),B伺服器是備份機,其域名為back.atong.com(192.168.1.2)。其中A的web內容存放在以下幾個地方:/www//home/web_user1//home/web_user2/。我們需要在備份機B上建立對這幾個目錄內容的備份。
#vi /etc/rsyncd.conf編輯服務端的配置檔案。
配置檔案內容

uid = nobody
gid = nobody
use chroot = nomax 
connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path = /www/ignore errorsread only = truelist = falsehosts allow = 192.168.1.2hosts deny = 0.0.0.0/32    #拒絕任何主機,只有hosts allow的主機
auth users = rsyncsecrets 
file = /etc/rsync.pas
[web_user1]
path = /home/web_user1/ignore errorsread only = true            #客戶端不能上傳資料
list = falsehosts allow = 192.168.1.2
hosts deny = 0.0.0.0/32
uid = web_user1    #同步次模組時,shi是用web_user1這個使用者來讀取path下的檔案。
gid = web_user1auth
users = rsyncsecrets 
file = /etc/rsync.pas
[web_user2]
path = /home/web_user2/ignore 
errorsread only = true
list = false
hosts allow = 192.168.1.2
hosts deny = 0.0.0.0/32
uid = web_user2
gid = web_user2
auth users = rsyncsecrets 
file = /etc/rsync.pas

這裡定義有三個模組,分別對應於三個需要備份的目錄樹。這裡只允許192.168.1.2備份本機的資料,並且需要認證。三個模組授權的備份使用者都為rsync,並且使用者資訊儲存在檔案/etc/rsync.pas中,其內容如下:rsync:123456
並且該檔案只能是root使用者可讀寫的,否則rsyncd啟動時會出錯。這些檔案配置完畢以後,就需要在A伺服器上啟動rsyncd伺服器:/usr/bin/rsync --daemon
注意: 密碼檔案的許可權設定為600

客戶端操作

在對rsync伺服器配置結束以後,下一步就需要在客戶端發出rsync命令來實現將伺服器端的檔案備份到客戶端來。rsync是一個功能非常強大的工具,其命令也有很多功能特色選項,我們下面就對它的選項一一進行分析說明。
首先,rsync的命令格式可以為:

1)rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST   推送(因為SRC是本地)
2)rsync [OPTION]... [USER@]HOST:SRC DEST            拉取 (因為SRC是服務端)
3)rsync [OPTION]... SRC [SRC]... DEST      拷貝本地檔案
4)rsync [OPTION]... [USER@]HOST::SRC [DEST]
5)rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6)rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC[DEST]

SRC:標示原始檔(從哪來拷)
DES:目標檔案(拷到哪裡)
rsync命令有六種格式:
第1個命令格式:是將本地的內容推送到伺服器端。
例項:rsync /tmp rsync@192.168.1.1:www
第2個命令格式:是將伺服器的內容拉取到本地端。
例項:rsync rsync@192.168.1.1:www /tmp
[對照一下上面的命令格式,一般是有USER@HOST:就表示是伺服器端,而沒有知識SRC或DEST就表示是客戶端。怎麼分清楚是拉取還是推送,要看服務端是SRC還是DEST,如果是SRC就表示從服務端拷,就是拉取格式如USER@HOST:SRC。如果是DEST(拷到哪裡)就表示推送,拷到服務端USER@HOST:DEST]
第4個和第5個命令同第1、2之間的區別就在於服務端(USER@HSOT)後面是跟上一個: 還是兩個::1g個:表示會在伺服器端啟用以個shell來執行這個命令。而::表示會以deamon模式來執行。

rsync命令同步引數:
先了解下rsync的同步引數選項,先通過本地同步的方式來驗證rsync的同步引數。

-v      :詳細模式輸出,傳輸時的進度等資訊
-z      :傳輸時進行壓縮以提高效率—compress-level=num可按級別壓縮
-r      :對子目錄以遞迴模式,即目錄下的所有目錄都同樣傳輸。
-t      :保持檔案的時間資訊—time
-o      :保持檔案屬主資訊owner
-p      :保持檔案許可權
-g      :保持檔案的屬組資訊
-P      :--progress 顯示同步的過程及傳輸時的進度等資訊
-a      :歸檔模式,表示以地櫃模式傳輸檔案,並保持檔案所有屬性相當於-rtopgdl
-e      :使用的通道協議,指定替代rsh的shell程式。例如:ssh
-D      :保持裝置檔案資訊
-l      :--links 保留軟連線
--progress  :顯示備份過程
--delete    :刪除那些DST中SRC沒有的檔案
--exclude=PATTERN  指定排除不需要傳輸的檔案模式
-u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案)
-b, --backup 建立備份,也就是對於目的已經存在有同樣的檔名時,將老的檔案重新命名為~filename。
-suffix=SUFFIX 定義備份檔案字首
-stats 給出某些檔案的傳輸狀態
-R, --relative 使用相對路徑資訊  如:rsync foo/bar/foo.c remote:/tmp/   則在/tmp目錄下建立foo.c檔案,而如果使用-R引數:rsync -R foo/bar/foo.c remote:/tmp/     則會建立檔案/tmp/foo/bar/foo.c,也就是會保持完全路徑資訊。
--config=FILE 指定其他的配置檔案,不使用預設的rsyncd.conf檔案
--port=PORT 指定其他的rsync服務埠
一般就使用 -avz來進行傳輸,如果放入指令碼中可以吧-v和-P去掉。

客戶端命令格式例項:

1.2 從伺服器上下載檔案
rsync -avz --delete rsycn@192.168.1.1::/tmp /tmp --password-file=/etc/rsync.pas
從本地上傳到伺服器上去
rsync -avz --delete --progress /tmp rsync@192.168.1.1::/tmp

參考例項1:

具體需求:在A-SERVER上以rsync守護程式的方式部署rsync服務,使得所有客戶端主機,可以把本地的資料通過rsync的方式據備份到伺服器A-SERVER上。也可以通過rsync將資料從A-SERVER抓取到客戶端。
拓撲方向:C<---->A A<--->B

伺服器端

1)配置/etc/rsyncd.conf
Rsyncd.conf 預設是rsync服務的配置檔案
uid = root #此表示rsync以什麼使用者來讀取本地的目。也就是以root使用者來進行rsync指定目錄的檔案讀取,寫入許可權。

gid = root
use chroot = no
max connections = 200  #最大連線數
timeout = 300
pid file = /var/run/rsyncd.pid
locak file =  /var/run/rsync.lock
log file =  /var/log/rsyncd.log  #日誌檔案
[atong]    #當我們讀取的時候,就需要使用到模組名
Path =  /tmp/    #指定備份的路徑
Ignore  errors      #忽略錯誤
read  only = false   #不只讀
list = false         #不列出rsync目錄檔案
hosts  allow = 10.0.0.0/24
hosts  deny = 0.0.0.0/32
auth users = rsync_backup
secrets  file = /etc/rsync.password   #認證的金鑰檔案

man rsyncd.conf檢視配置的細節資訊
注意:配置的path一定要存在,並且許可權是允許uid和gid去進行讀寫才可以。有點類似nfs的本地檔案許可權,和nfs共享許可權一樣。

2)配置密碼檔案:檔案格式為使用者:密碼並且裡面的只能以這樣的格式,並且是沒有空格的。而且在配置檔案中的log file 指定的存放路徑,就是此密碼檔案的存放路徑,且檔名要正確。密碼檔案的許可權必須是600的許可權,root root

3)啟動rsync

#rsync –-daemon 表示讓rsync以daemon的模式進行啟動
#ps -ef | grep rsync  檢視rsync程式是否已經啟動
#netstat –lnt | grep 873   檢視rsync是否已經啟動,並檢測埠狀態
#lsof –I tcp:873  用來反查埠對應的是什麼服務。

擴充:

--daemon 表示以守護程式的方式啟動
--address 繫結某個ip地址來提供服務,如果有多個ip地址的話
--config=file  更還配置檔案路徑,而不是預設的/etc/rsyncd.conf
--port=PORT 更改其他埠提供伺服器,而不是預設的873埠

以上的幾個引數為了解內容,生產環境並不長常用
配置rsync開機啟動
echo “/usr/bin/rsync --daemon”>>/etc/rc.local
重啟rsync服務
pkill rsync&&rsync -daemon

客戶端部署

1)在同樣的密碼檔案下新增使用者的密碼 600許可權(檔案不一定要和服務端的一樣,但為了方便管理,建議一樣的)
推送
#rsync –avz –P /tmp/atong [rsync_back@192.168.1.1::a](mailto:rsync_back@192.168.1.1::oldboy/)tong
最後面的::表示是以daemon模式,並且是oldboy模組。此模組的名稱必須和配置檔案中的一樣。

--password-file=/etc/rsync.password```
此方式的推送,最後面的/atong/跟的並不是模組名稱,而是直接接上目錄路徑。[此目錄是不是隻能夠接上,伺服器上配置的同步目錄]
例項:

[root@CT5_6-32-220-NFS01 data]# cat/etc/rsyncd.conf
uid = root
gid = root
user chroot = no
max connections =200
timeout = 300
pid file =/var/run/rsyncd.pid
locake file =/var/run/rsync.lock
log file = /var/log/rsyncd.log
[tmp]
path=/tmp/
ignore errors
read only = false
list = false
hosts allow = 192.168.40.0/22
hsots deny=0.0.0.0/32
authusers = rsync_back
secretsfile= /etc/rsync.password
[/data/rsync/]
path=/data/rsync/
read only = false
auth users = rsync_back
secrets file = /etc/rsync.password

root@CT5_6-32-220-NFS01 tmp]# mkdir /data ##建立模組中使用到的目錄
mkdir: cannot create directory `/data': File exists
[root@CT5_6-32-220-NFS01 tmp]# cd /data
[root@CT5_6-32-220-NFS01 data]# echo"rsync_back:123456" >> /etc/rsync.password
[root@CT5_6-32-220-NFS01 data]# chmod 600 /etc/rsync.password##注意密碼檔案的許可權為600許可權。
[root@CT5_6-32-220-NFS01 data]# rsync –daemon 啟動
[root@CT5_6-32-220-NFS01 data]# netstat -lnt | grep873 ##檢視系統中是否已經啟動rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN

#####配置客戶端:客戶端中只需要存放使用者的密碼,並且許可權為600即可

[root@CT56-32-221-NFS02 dir01]# echo "123456" >>/etc/rsync.password
[root@CT56-32-221-NFS02 dir01]# chmod 600/etc/rsync.password

第一種拉取方式:

[root@CT56-32-221-NFS02 tmp]# rsync -avz rsync_back@192.168.41.220::tmp /tmp/

其中

[root@CT56-32-221-NFS02 tmp]# ll
total 20
drwxr-xr-x 84 root root 4096 Jun 20 10:28 2
drwxr-xr-x 3root root 4096 Jun 20 10:19 dir01
drwxr-xr-x 3root root 4096 Jun 20 09:43 dir02
drwxr-xr-x 84 root root 4096 Jun 19 05:25 etc
drwx------ 2root root 4096 Jun 20 07:40 ssh-ZQBmZ29557

說明:如果是加上-delete進行推送,那麼我指定的本地目錄的內容有哪些,遠端目錄的內容也就只有哪些。如我原本指定/tmp/atong/ 和遠端/atong/一樣。後來又再建立了一個/delete目錄且為空,那麼我再推送/tmp/delete/和遠端/atong/目錄,那麼遠端原來有的所有內容都會被刪除掉,因為此時的/delete/目錄有啥,遠端也就有啥。

一些示例指令碼這裡這些指令碼都是rsync網站上的例子:

1、每隔七天將資料往中心伺服器做增量備份
```
#!/bin/sh
#This script does personal backups to a rsyncbackup server. You will end up
# with a 7 day rotating incremental backup. Theincrementals will go
# into subdirectories named after the day of theweek, and the current
# full backup goes into a directory called"current"
# tridge@linuxcare.com
# directory to backupBDIR=/home/$USER# excludes file - this contains a wildcard patternper line of files to excludeEXCLUDES=$HOME/cron/excludes# the name of the backup machineBSERVER=owl# your password on the backup serverexport RSYNC_PASSWORD=XXXXXX########################################################################BACKUPDIR=`date +%A`OPTS="--force --ignore-errors--delete-excluded --exclude-from=$EXCLUDES--delete --backup --backup-dir=/$BACKUPDIR -a"export PATH=$PATH:/bin:/usr/bin:/usr/local/bin# the following line clears the last weeks incrementaldirectory[ -d $HOME/emptydir ] || mkdir $HOME/emptydirrsync --delete -a $HOME/emptydir/$BSERVER::$USER/$BACKUPDIR/rmdir $HOME/emptydir# now the actual transferrsync $OPTS $BDIR $BSERVER::$USER/current
2、備份至一個空閒的硬碟
#!/bin/sh
export PATH=/usr/local/bin:/usr/bin:/binLIST="rootfs usr data data2"for d in $LIST; domount /backup/$drsync -ax --exclude fstab --delete /$d/ /backup/$d/umount /backup/$ddoneDAY=`date "+%A"`rsync -a --delete /usr/local/apache/data2/backups/$DAYrsync -a --delete /data/solid /data2/backups/$DAY
3、對vger.rutgers.edu的cvs樹進行映象
#!/bin/bashcd /var/www/cvs/vger/PATH=/usr/local/bin:/usr/freeware/bin:/usr/bin:/binRUN=`lps x | grep rsync | grep -v grep | wc -l`if [ "$RUN" -gt 0 ]; thenecho already runningexit 1firsync -az vger.rutgers.edu::cvs/CVSROOT/ChangeLog$HOME/ChangeLogsum1=`sum $HOME/ChangeLog`sum2=`sum /var/www/cvs/vger/CVSROOT/ChangeLog`if [ "$sum1" = "$sum2" ]; thenecho nothing to doexit 0firsync -az --delete --force vger.rutgers.edu::cvs//var/www/cvs/vger/exit 0
```
FAQ
Q:如何通過ssh進行rsync,而且無須輸入密碼?
A:可以通過以下幾個步驟1. 通過ssh-keygen在server A上建立SSH keys,不要指定密碼,你會在~/.ssh下看到identity和identity.pub檔案2. 在server B上的home目錄建立子目錄.ssh3. 將A的identity.pub拷貝到server B上4. 將identity.pub加到~[user b]/.ssh/authorized_keys5. 於是server A上的A使用者,可通過下面命令以使用者B ssh到server B上了e.g. ssh -l userB serverB這樣就使server A上的使用者A就可以ssh以使用者B的身份無需密碼登陸到serverB上了。
Q:如何通過在不危害安全的情況下通過防火牆使用rsync?
A:解答如下:這通常有兩種情況,一種是伺服器在防火牆內,一種是伺服器在防火牆外。無論哪種情況,通常還是使用ssh,這時最好新建一個備份使用者,並且配置 sshd僅允許這個使用者通過RSA認證方式進入。如果伺服器在防火牆內,則最好限定客戶端的IP地址,拒絕其它所有連線。如果客戶機在防火牆內,則可以簡單允許防火牆開啟TCP埠22的ssh外發連線就ok了。
Q:我能將更改過或者刪除的檔案也備份上來嗎?
A:當然可以:你可以使用如:rsync -other -options-backupdir = ./backup-2000-2-13 ...這樣的命令來實現。這樣如果原始檔:/path/to/some/file.c改變了,那麼舊的檔案就會被移到./backup-2000-2-13/path/to/some/file.c,這裡這個目錄需要自己手工建立起來
Q:我需要在防火牆上開放哪些埠以適應rsync?
A:視情況而定rsync可以直接通過873埠的tcp連線傳檔案,也可以通過22埠的ssh來進行檔案傳遞,但你也可以通過下列命令改變它的埠:rsync --port 8730 otherhost::或者rsync -e 'ssh -p 2002' otherhost:
Q:我如何通過rsync只複製目錄結構,忽略掉檔案呢?
A:rsync -av --include '*/' --exclude '*' source-dir dest-dir
Q:為什麼我總會出現"Read-only file system"的錯誤呢?
A:看看是否忘了設"read only = no"了
Q:為什麼我會出現'@ERROR: invalid gid'的錯誤呢?
A:rsync使用時預設是用uid=nobody;gid=nobody來執行的,如果你的系統不存在nobody組的話,就會出現這樣的錯誤,可以試試gid = nogroup或者其它
Q:繫結埠873失敗是怎麼回事?
A:如果你不是以root許可權執行這一守護程式的話,因為1024埠以下是特權埠,會出現這樣的錯誤。你可以用--port引數來改變。
Q:為什麼我認證失敗?
A:從你的命令列看來:你用的是:>; bash$ rsync -a 144.16.251.213::test test>; Password:>; @ERROR: auth failed on module test>;>; I dont understand this. Can somebody explainas to how to acomplish this.>; All suggestions are welcome.應該是沒有以你的使用者名稱登陸導致的問題,試試rsync -amax@144.16.251.213::test test

相關文章