Linux:檔案解壓、複製和移動的若干坑

orion發表於2022-04-20

Linux下進行檔案的解壓、複製、移動應該是最常見的操作了。尤其是我們在專案中使用大量的資料集檔案(比如機器學習)時。然而使用這些命令時一不留神就會掉進坑裡,這篇文章我們就來細數用Shell進行檔案操作的這些坑。

將檔案單個地進行壓縮與解壓

Linux下壓縮檔案的常見副檔名包括.gz.tar.tar.gz, .zip等。這些壓縮格式都能夠跨平臺(Windows/Mac/Linux)使用。下面我們以.zip檔案為例子來講解。我們已知一個文字檔案壓縮包test.zip,想把它解壓,很簡單,執行unzip命令即可:

orion-orion@MacBook-Pro Learn-Linux % unzip test.zip 
Archive:  test.zip
  inflating: test.txt                

如果我們想要將test.txt重新壓縮呢?你可能情不自禁會執行zip test.txt ,然後我們發現提示:

orion-orion@MacBook-Pro Learn-Linux % zip test.txt   
        zip warning: missing end signature--probably not a zip file (did you
        zip warning: remember to use binary mode when you transferred it?)
        zip warning: (if you are trying to read a damaged archive try -F)

zip error: Zip file structure invalid (test.txt)

其實是傳引數傳錯了,導致zip誤把test.txt當成壓縮後的檔名了,這當然不是合法的。我們看zip的引數構成:

zip [-options] [-b path] [-t mmddyyyy] [-n suffixes] [zipfile list] [-xi list]

[-b path] 是壓縮後的.zip檔案的路徑,zipfile list是待壓縮的檔案列表。於是,我們這樣寫即可成功壓縮:

orion-orion@MacBook-Pro Learn-Linux % zip test2.zip test.txt
  adding: test.txt (stored 0%)

當然,zip也支援將多個檔案壓縮:

orion-orion@MacBook-Pro Learn-Linux % zip test3.zip test.txt test2.txt 
  adding: test.txt (stored 0%)
  adding: test2.txt (stored 0%)

此時我們發現再解壓test3.zip會發現重新得到了兩個原始檔案:

orion-orion@MacBook-Pro Learn-Linux % unzip test3.zip
Archive:  test3.zip
 extracting: test.txt                
 extracting: test2.txt     

zip也支援對目錄壓縮,如我們嘗試壓縮test目錄:

orion-orion@MacBook-Pro Learn-Linux % zip test4.zip test
  adding: test/ (stored 0%)

此時再解壓test4.zip則會重新生成test目錄:

orion-orion@MacBook-Pro Learn-Linux % unzip test4.zip 
Archive:  test4.zip
   creating: test/

不過,zip是將輸入的檔案列表分別進行壓縮的操作,即是對目錄來進行壓縮也是對目錄內的所有檔案one-by-one的操作。那我們需要將很多檔案先打包成一個檔案,然後再壓縮呢?此時就要用到tar了。

tar:打包命令

很多人誤解tar是個壓縮命令,其實壓縮命令是gzipxz以及我們上文提到的zip這些。tar是個打包命令,只不過附帶壓縮與解壓的功能。tar的選項多如牛毛,為了減輕大家的記憶負擔,我們只介紹下面兩個選項:

-c: 建立打包檔案(可搭配-v將過程中打包的檔案視覺化);

-x:解包或解壓縮的功能(可搭配-C在特定目錄解壓);

(其實還有表示通過gzip進行壓縮/解壓縮的-z,通過bzip2的支援進行壓縮/解壓縮的-j,通過xz的支援進行壓縮解壓縮的-J等,但我們這裡統一用.zip示範,就省去這些引數了)

那麼,我們只需要記住下面的命令即可:

壓縮: tar -cv -f filename.zip 要被壓縮的檔案或目錄名稱

解壓縮:tar -xv -f filename.zip -C 欲解壓的目錄(這個目錄必須已經存在)

注意,壓縮傳參順序是壓縮後的.zip檔案在前,壓縮前的檔案在後,別搞錯了。(讓人聯想到gcc編譯器,不過gcc傳參時規定是-o output_file.out的形式來指定輸出的可執行檔案,就回避了這個順序問題)

比如,我們要將test資料夾(該資料夾下有一個test.txt檔案)壓縮,可以執行如下命令:

orion-orion@MacBook-Pro Learn-Linux % tar -cv -f test4.zip test    
a test
a test/test.txt

然後將其解壓到當前目錄,可執行如下命令:

orion-orion@MacBook-Pro Learn-Linux % tar -xv -f test4.zip -C .    
x test/
x test/test.txt

對多個檔案壓縮:

orion-orion@MacBook-Pro Learn-Linux % tar -cv -f test3.zip test.txt test2.txt  
a test.txt
a test2.txt

然後將其解壓到當前目錄:

orion-orion@MacBook-Pro Learn-Linux % tar -xv -f test3.zip -C .
x test.txt
x test2.txt

由上面所說,zip/unziptar都是壓縮什麼解壓出來就是什麼,原來是目錄就是目錄,原來沒目錄不會幫你自動生成一個目錄,但Linux或Mac系統的視覺化壓縮工具就不一樣了(在Mac中被稱為「歸檔實用工具」)。Mac中對目錄壓縮時壓縮命令和tar命令是等效的,比如我們想用Mac自帶的壓縮工具壓縮test資料夾:

NLP多工學習

會生成對應的歸檔檔案:

NLP多工學習

再解壓會得到同樣的資料夾(會自動幫我們重新命名),不會幫我們生成多餘的目錄: NLP多工學習

然而,如果我們嘗試用Mac自帶的壓縮工具壓縮多個檔案: NLP多工學習

它會自動幫我們生成一個名為歸檔.zip的檔案:

NLP多工學習

然後,如果此時我們嘗試對歸檔.zip檔案進行解壓,會發現系統會自動幫我們生成一個名為歸檔 的資料夾:

NLP多工學習

這個資料夾內部才是我們需要的檔案:

NLP多工學習

這在對大量檔案操作時需要額外注意,否則會白白開銷你一次拷貝檔案的時間!

檔案拷貝

我們緊接上面的情景。假設我們當前的目錄為專案目錄,而我們手滑使用了系統自帶的視覺化解壓工具生成了一個多餘的目錄。我們接下來要把系統生成的多餘的歸檔資料夾裡的檔案拷貝到當前目錄,那麼我們可以使用帶r引數的cp命令:

orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔/ . 
orion-orion@MacBook-Pro Learn-Linux % ls
test.txt        test2.txt       歸檔

這裡-r參數列示遞迴複製命令,用於目錄的遞迴複製。注意命令中的歸檔/表示歸檔目錄下的所有檔案,意思和歸檔/*相同:

orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔/* . 
orion-orion@MacBook-Pro Learn-Linux % ls
test.txt        test2.txt       歸檔

選項引數-r寫成-R是等效的:

orion-orion@MacBook-Pro Learn-Linux % cp -R 歸檔/* . 
orion-orion@MacBook-Pro Learn-Linux % ls
test.txt        test2.txt       歸檔

但如果直接傳入引數歸檔,則表示將這個目錄整個地複製:

orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔 .   
cp: ./歸檔 and 歸檔 are identical (not copied).

同一個目錄下不可能有兩個相同名稱的子目錄,這當然就會出錯,當然我們可以將其複製到另外一個目錄裡:

orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔 /tmp 
orion-orion@MacBook-Pro Learn-Linux % ls /tmp |grep 歸檔
歸檔

你可能要問,加r和不加r有啥區別?如果不加r,則預設是跳過目錄的,也就是說只能copy檔案:

orion-orion@MacBook-Pro Learn-Linux % cp  歸檔/ .  
cp: 歸檔/ is a directory (not copied).
orion-orion@MacBook-Pro Learn-Linux % cp  歸檔 /tmp 
cp: 歸檔 is a directory (not copied).

檔案移動

我們還是緊接著上面的場景。假定我們已經將歸檔資料夾中的test.txttest2.txt成功拷貝到當前專案目錄了。現在我們有了個新的需求:我們在專案目錄中建了一個data子目錄,現在需要將專案目錄中的test.txttest2.txt移動到data子目錄中。這就需要如下命令:

orion-orion@MacBook-Pro Learn-Linux % mv test2.txt test.txt data
orion-orion@MacBook-Pro Learn-Linux % ls data
test.txt        test2.txt

注意,如果有多個原始檔或目錄,則最後一個目標檔案(也就是這裡的data)一定是目錄。當我們只移動一個檔案時,就有潛在的二義性。這裡因為data目錄本身存在,我們移動test.txtdata目錄還能正常執行:

orion-orion@MacBook-Pro Learn-Linux % mv test.txt data 
orion-orion@MacBook-Pro Learn-Linux % ls data
test.txt

但是如果data目錄不存在,就會將mv解釋為重新命名的意思,比如如果我們將data目錄刪除再執行:

orion-orion@MacBook-Pro Learn-Linux % mv test.txt data

此時就等效於把test.txt更名為data檔案:

orion-orion@MacBook-Pro Learn-Linux % ls -l|grep data
-rw-r--r--  1 orion-orion  staff    0  4 20 22:01 data

可以看出,第一個字母是-,也就意味著data是普通檔案,不是目錄(是目錄的話第一個字母是d)。

因此,使用mv語句時要格外小心,因為它既有移動到目錄的作用,也有重新命名的作用,一不注意就可能出錯!

引用

相關文章