常用命令rsyncscp-1

liu4356發表於2024-03-15

常用命令:rsync/scp

scp

scp命令檔案傳輸
scp命令用於在Linux下進行遠端複製檔案的命令,和它類似的命令有cp,不過cp只是在本機進行複製不能跨伺服器,而且scp傳輸是加密的。可能會稍微影響一下速度。當你伺服器硬碟變為只讀read only system時,用scp可以幫你把檔案移出來。另外,scp還非常不佔資源,不會提高多少系統負荷,在這一點上,rsync就遠遠不及它了。雖然 rsync比scp會快一點,但當小檔案眾多的情況下,rsync會導致硬碟I/O非常高,而scp基本不影響系統正常使用。

語法
scp(選項)(引數)
選項
-1:使用ssh協議版本1;
-2:使用ssh協議版本2;
-4:使用ipv4;
-6:使用ipv6;
-B:以批處理模式執行;
-C:使用壓縮;
-F:指定ssh配置檔案;
-l:指定寬頻限制;
-o:指定使用的ssh選項;
-P:指定遠端主機的埠號;
-p:保留檔案的最後修改時間,最後訪問時間和許可權模式;
-q:不顯示覆制進度;
-r:以遞迴方式複製。
引數
原始檔:指定要複製的原始檔。
目標檔案:目標檔案。格式為user@host:filename(檔名為目標檔案的名稱)。
例項
從遠端複製到本地的scp命令與上面的命令雷同,只要將從本地複製到遠端的命令後面2個引數互換順序就行了。

從遠處複製檔案到本地目錄

scp root@10.10.10.10:/opt/soft/nginx-0.5.38.tar.gz /opt/soft/
從10.10.10.10機器上的/opt/soft/的目錄中下載nginx-0.5.38.tar.gz 檔案到本地/opt/soft/目錄中。

從遠處複製到本地

scp -r root@10.10.10.10:/opt/soft/mongodb /opt/soft/
從10.10.10.10機器上的/opt/soft/中下載mongodb目錄到本地的/opt/soft/目錄來。

上傳本地檔案到遠端機器指定目錄

scp /opt/soft/nginx-0.5.38.tar.gz root@10.10.10.10:/opt/soft/scptest
複製本地/opt/soft/目錄下的檔案nginx-0.5.38.tar.gz到遠端機器10.10.10.10的opt/soft/scptest目錄。

上傳本地目錄到遠端機器指定目錄

scp -r /opt/soft/mongodb root@10.10.10.10:/opt/soft/scptest
上傳本地目錄/opt/soft/mongodb到遠端機器10.10.10.10上/opt/soft/scptest的目錄中去。


rsync

rsync命令
rsync命令是一個遠端資料同步工具,可透過LAN/WAN快速同步多臺主機間的檔案。rsync使用所謂的“rsync演算法”來使本地和遠端兩個主機之間的檔案達到同步,這個演算法只傳送兩個檔案的不同部分,而不是每次都整份傳送,因此速度相當快。 rsync是一個功能非常強大的工具,其命令也有很多功能特色選項,我們下面就對它的選項一一進行分析說明。

語法
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]host:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
對應於以上六種命令格式,rsync有六種不同的工作模式:

複製本地檔案。當SRC和DES路徑資訊都不包含有單個冒號":"分隔符時就啟動這種工作模式。如:rsync -a /data /backup
使用一個遠端shell程式(如rsh、ssh)來實現將本地機器的內容複製到遠端機器。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。如:rsync -avz *.c foo:src
使用一個遠端shell程式(如rsh、ssh)來實現將遠端機器的內容複製到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。如:rsync -avz foo:src/bar /data
從遠端rsync伺服器中複製檔案到本地機。當SRC路徑資訊包含"::"分隔符時啟動該模式。如:rsync -av root@192.168.78.192::www /databack
從本地機器複製檔案到遠端rsync伺服器中。當DST路徑資訊包含"::"分隔符時啟動該模式。如:rsync -av /databack root@192.168.78.192::www
列遠端機的檔案列表。這類似於rsync傳輸,不過只要在命令中省略掉本地機資訊即可。如:rsync -v rsync://192.168.78.192/www
選項
-v, --verbose 詳細模式輸出。
-q, --quiet 精簡輸出模式。
-c, --checksum 開啟校驗開關,強制對檔案傳輸進行校驗。
-a, --archive 歸檔模式,表示以遞迴方式傳輸檔案,並保持所有檔案屬性,等於-rlptgoD。
-r, --recursive 對子目錄以遞迴模式處理。
-R, --relative 使用相對路徑資訊。
-b, --backup 建立備份,也就是對於目的已經存在有同樣的檔名時,將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。
--backup-dir 將備份檔案(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份檔案字首。
-u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且檔案時間晚於要備份的檔案,不覆蓋更新的檔案。
-l, --links 保留軟鏈結。
-L, --copy-links 想對待常規檔案一樣處理軟鏈結。
--copy-unsafe-links 僅僅複製指向SRC路徑目錄樹以外的鏈結。
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結。
-H, --hard-links 保留硬鏈結。
-p, --perms 保持檔案許可權。
-o, --owner 保持檔案屬主資訊。
-g, --group 保持檔案屬組資訊。
-D, --devices 保持裝置檔案資訊。
-t, --times 保持檔案時間資訊。
-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間。
-n, --dry-run現實哪些檔案將被傳輸。
-w, --whole-file 複製檔案,不進行增量檢測。
-x, --one-file-system 不要跨越檔案系統邊界。
-B, --block-size=SIZE 檢驗演算法使用的塊尺寸,預設是700位元組。
-e, --rsh=command 指定使用rsh、ssh方式進行資料同步。
--rsync-path=PATH 指定遠端伺服器上的rsync命令所在路徑資訊。
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案,用來排除那些不希望傳輸的檔案。
--existing 僅僅更新那些已經存在於DST的檔案,而不備份那些新建立的檔案。
--delete 刪除那些DST中SRC沒有的檔案。
--delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案。
--delete-after 傳輸結束以後再刪除。
--ignore-errors 及時出現IO錯誤也進行刪除。
--max-delete=NUM 最多刪除NUM個檔案。
--partial 保留那些因故沒有完全傳輸的檔案,以是加快隨後的再次傳輸。
--force 強制刪除目錄,即使不為空。
--numeric-ids 不將數字的使用者和組id匹配為使用者名稱和組名。
--timeout=time ip超時時間,單位為秒。
-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案。
--size-only 當決定是否要備份檔案時,僅僅察看檔案大小而不考慮檔案時間。
--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗,預設為0。
-T --temp-dir=DIR 在DIR中建立臨時檔案。
--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份。
-P 等同於 --partial。
--progress 顯示備份過程。
-z, --compress 對備份的檔案在傳輸時進行壓縮處理。
--exclude=PATTERN 指定排除不需要傳輸的檔案模式。
--include=PATTERN 指定不排除而需要傳輸的檔案模式。
--exclude-from=FILE 排除FILE中指定模式的檔案。
--include-from=FILE 不排除FILE指定模式匹配的檔案。
--version 列印版本資訊。
--address 繫結到特定的地址。
--config=FILE 指定其他的配置檔案,不使用預設的rsyncd.conf檔案。
--port=PORT 指定其他的rsync服務埠。
--blocking-io 對遠端shell使用阻塞IO。
-stats 給出某些檔案的傳輸狀態。
--progress 在傳輸時現實傳輸過程。
--log-format=formAT 指定日誌檔案格式。
--password-file=FILE 從FILE中得到密碼。
--bwlimit=KBPS 限制I/O頻寬,KBytes per second。
-h, --help 顯示幫助資訊。
例項
SSH方式

首先在服務端啟動ssh服務:

service sshd start
啟動 sshd: [確定]
使用rsync進行同步

接下來就可以在客戶端使用rsync命令來備份服務端上的資料了,SSH方式是透過系統使用者來進行備份的,如下:

rsync -vzrtopg --progress -e ssh --delete work@172.16.78.192:/www/* /databack/experiment/rsync
work@172.16.78.192's password:
receiving file list ...
5 files to consider
test/
a
0 100% 0.00kB/s 527:35:41 (1, 20.0% of 5)
b
67 100% 65.43kB/s 0:00:00 (2, 40.0% of 5)
c
0 100% 0.00kB/s 527:35:41 (3, 60.0% of 5)
dd
100663296 100% 42.22MB/s 0:00:02 (4, 80.0% of 5)
sent 96 bytes received 98190 bytes 11563.06 bytes/sec
total size is 100663363 speedup is 1024.19
上面的資訊描述了整個的備份過程,以及總共備份資料的大小。

後臺服務方式

啟動rsync服務,編輯/etc/xinetd.d/rsync檔案,將其中的disable=yes改為disable=no,並重啟xinetd服務,如下:

vi /etc/xinetd.d/rsync

#default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync {
disable = no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
/etc/init.d/xinetd restart
停止 xinetd: [確定]
啟動 xinetd: [確定]
建立配置檔案,預設安裝好rsync程式後,並不會自動建立rsync的主配置檔案,需要手工來建立,其主配置檔案為“/etc/rsyncd.conf”,建立該檔案並插入如下內容:

vi /etc/rsyncd.conf

uid=root
gid=root
max connections=4
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
secrets file=/etc/rsyncd.passwd
hosts deny=172.16.78.0/22

[www]
comment= backup web
path=/www
read only = no
exclude=test
auth users=work
建立密碼檔案,採用這種方式不能使用系統使用者對客戶端進行認證,所以需要建立一個密碼檔案,其格式為“username:password”,使用者名稱可以和密碼可以隨便定義,最好不要和系統帳戶一致,同時要把建立的密碼檔案許可權設定為600,這在前面的模組引數做了詳細介紹。

echo "work:abc123" > /etc/rsyncd.passwd
chmod 600 /etc/rsyncd.passwd
備份,完成以上工作,現在就可以對資料進行備份了,如下:

rsync -avz --progress --delete work@172.16.78.192::www /databack/experiment/rsync

Password:
receiving file list ...
6 files to consider
./ files...
a
0 100% 0.00kB/s 528:20:41 (1, 50.0% of 6)
b
67 100% 65.43kB/s 0:00:00 (2, 66.7% of 6)
c
0 100% 0.00kB/s 528:20:41 (3, 83.3% of 6)
dd
100663296 100% 37.49MB/s 0:00:02 (4, 100.0% of 6)
sent 172 bytes received 98276 bytes 17899.64 bytes/sec
total size is 150995011 speedup is 1533.75
恢復,當伺服器的資料出現問題時,那麼這時就需要透過客戶端的資料對服務端進行恢復,但前提是服務端允許客戶端有寫入許可權,否則也不能在客戶端直接對服務端進行恢復,使用rsync對資料進行恢復的方法如下:

rsync -avz --progress /databack/experiment/rsync/ work@172.16.78.192::www

Password:
building file list ...
6 files to consider
./
a
b
67 100% 0.00kB/s 0:00:00 (2, 66.7% of 6)
c
sent 258 bytes received 76 bytes 95.43 bytes/sec
total size is 150995011 speedup is 452080.87