真香！Python十大常用檔案操作

Python資料科學發表於2020-12-07
Python
東哥起飛

日常對於批量處理檔案的需求非常多，用Python寫指令碼可以非常方便地實現，但在這過程中難免會和檔案打交道，第一次做會有很多檔案的操作無從下手，只能找度娘。

本篇東哥整理了10個Python中最常用到的檔案操作，無論是批處理還是讀取檔案都會用到，相信這個梳理會有所幫助。

1. 顯示當前目錄

當我們想知道當前的工作目錄是什麼的時候，我們可以簡單地使用os模組的getcwd()功能，或者使用pathlib的cwd()，如下所示。

>>> # 第一種方法：顯示當前目錄
... import os
... print("當前工作目錄:", os.getcwd())
... 
Current Work Directory: /Users/ycui1/PycharmProjects/Medium_Python_Tutorials

>>> # 第二種方法：或者我們也可以使用 pathlib
... from pathlib import Path
... print("當前工作目錄:", Path.cwd())
... 
Current Work Directory: /Users/ycui1/PycharmProjects/Medium_Python_Tutorials
如果使用的是舊版本的Python（<3.4），則必須使用該os模組。

2. 建立一個新目錄

要建立目錄，可以使用os模組的mkdir()功能。該函式將在指定的路徑下建立目錄，如果僅使用目錄名稱，則將在當前目錄中建立資料夾，即絕對路徑和相對路徑的概念。

>>> # 在當前資料夾建立新目錄
... os.mkdir("test_folder")
... print("目錄是否存在:", os.path.exists("test_folder"))
... 
目錄是否存在: True
>>> # 在特定資料夾建立新目錄
... os.mkdir('/Users/ycui1/PycharmProjects/tmp_folder')
... print("目錄是否存在:", os.path.exists('/Users/ycui1/PycharmProjects/tmp_folder'))
... 
目錄是否存在: True

但是，如果想要建立一個多層級的目錄，比如資料夾中下的資料夾），則需要使用該makedirs()功能。

>>> # 建立包含子目錄的目錄
... os.makedirs('tmp_level0/tmp_level1')
... print("目錄是否存在:", os.path.exists("tmp_level0/tmp_level1"))
... 
Is the directory there: True

如果使用最新版本的Python（≥3.4），則可以考慮利用pathlib模組建立新目錄。它不僅可以建立子目錄，而且可以處理路徑中所有丟失的目錄。

# 使用 pathlib
from pathlib import Path
Path("test_folder").mkdir(parents=True, exist_ok=True)

需要注意一個問題，如果嘗試多次執行上述某些程式碼，可能會遇到問題“無法建立已經存在的新目錄”。我們可以將exist_ok參設定為True來處理此問題（預設值False值將阻止我們建立目錄）。

>>> # 使用 pathlib
... from pathlib import Path
... Path("test_folder").mkdir(parents=True, exist_ok=False)
... 
Traceback (most recent call last):
  File "<input>", line 3, in <module>
  File "/Users/ycui1/.conda/envs/Medium/lib/python3.8/pathlib.py", line 1284, in mkdir
    self._accessor.mkdir(self, mode)
FileExistsError: [Errno 17] File exists: 'test_folder'

3. 刪除目錄和檔案

完成對某些檔案或資料夾的操作後，我們可能希望刪除它。為此，我們可以使用os模組中的remove()函式來刪除檔案。如果要刪除資料夾，我們應該改用rmdir()。

>>> # 刪除一個檔案
... print(f"* 刪除檔案前 {os.path.isfile('tmp.txt')}")
... os.remove('tmp.txt')
... print(f"* 刪除檔案後 {os.path.exists('tmp.txt')}")
... 
* 刪除檔案前 True
* 刪除檔案後 False
>>> # 刪除一個資料夾
... print(f"* 刪除資料夾前 {os.path.isdir('tmp_folder')}")
... os.rmdir('tmp_folder')
... print(f"* 刪除資料夾後 {os.path.exists('tmp_folder')}")
... 
* 刪除資料夾前 True
* 刪除資料夾後 False

如果使用pathlib模組,可以使用unlink()方法，而刪除目錄可以使用rmdir()方法。請注意，這兩種方法都是Path物件的例項方法。

4. 獲取檔案列表

當我們分析某個工作或機器學習專案進行資料處理時，需要獲取特定目錄中的檔案列表。

通常，檔名具有匹配的模式。假設我們要查詢目錄中的所有.txt檔案，可使用Path物件的方法glob()來實現。glob()方法建立了一個生成器，允許我們進行迭代。

>>> txt_files = list(Path('.').glob("*.txt"))
... print("Txt files:", txt_files)
... 
Txt files: [PosixPath('hello_world.txt'), PosixPath('hello.txt')]

另外，直接使用glob模組也很方便，如下所示，通過建立可以使用的檔名列表，它具有相似的功能。在大多數情況下，例如檔案讀取和寫入，兩者都可以使用。

>>> from glob import glob
... files = list(glob('h*'))
... print("以h開頭的檔案:", files)
... 
Files starting with h: ['hello_world.txt', 'hello.txt']

5. 移動和複製檔案

移動檔案

常規檔案管理任務之一是移動和複製檔案。在Python中，這些工作可以非常輕鬆地完成。要移動檔案，只需將其舊目錄替換為目標目錄即可重新命名該檔案。假設我們需要將所有.txt檔案移動到另一個資料夾，下面用Path來實現。

>>> target_folder = Path("目標檔案")
... target_folder.mkdir(parents=True,exist_ok=True)
... source_folder = Path('.')
... 
... txt_files = source_folder.glob('*.txt')
... for txt_file in txt_files:
...     filename = txt_file.name
...     target_path = target_folder.joinpath(filename)
...     print(f"** 移動檔案 {filename}")
...     print("目標檔案存在:", target_path.exists())
...     txt_file.rename(target_path)
...     print("目標檔案存在:", target_path.exists(), '\n')
... 
** 移動檔案 hello_world.txt
目標檔案存在: False
目標檔案存在: True 

** 移動檔案 hello.txt
目標檔案存在: False
目標檔案存在: True

複製檔案

我們可以利用_shutil_模組中可用的功能，_shutil_模組是標準庫中另一個用於檔案操作的有用模組。我們可以copy()通過將原始檔和目標檔案指定為字串來在模組中使用該函式。一個簡單的例子如下所示。當然，您可以將copy()函式與glob()函式結合使用，以處理具有相同模式的一堆檔案。

>>> import shutil
... 
... source_file = "target_folder/hello.txt"
... target_file = "hello2.txt"
... target_file_path = Path(target_file)
... print("* 複製前，檔案存在:", target_file_path.exists())
... shutil.copy(source_file, target_file)
... print("* 複製後，檔案存在:", target_file_path.exists())
... 
* 複製前，檔案存在: False
* 複製後，檔案存在: True

6. 檢查目錄/檔案

上面的示例中一直在使用exists()方法來檢查是否存在特定路徑。如果存在，返回True；如果不存在，則返回False。此功能在os和pathlib模組中均可用，各自的用法如下。

# os 模組中 exists() 用法
os.path.exists('path_to_check')

# pathlib 模組中 exists() 用法
Path('directory_path').exists()

使用pathlib，我們還可以檢查路徑是目錄還是檔案。

# 檢查路徑是否是目錄
os.path.isdir('需要檢查的路徑')
Path('需要檢查的路徑').is_dir()

# 檢查路徑是否是檔案
os.path.isfile('需要檢查的路徑')
Path('需要檢查的路徑').is_file()

7. 獲取檔案資訊

檔名稱

處理檔案時，許多情況下都需要提取檔名。使用Path非常簡單，可以在Path物件上檢視name屬性path.name。如果不想帶字尾，可以檢視stem屬性path.stem。

for py_file in Path().glob('c*.py'):
...     print('Name with extension:', py_file.name)
...     print('Name only:', py_file.stem)
... 
帶檔案字尾: closures.py
只有檔名: closures
帶檔案字尾: counter.py
只有檔名: counter
帶檔案字尾: context_management.py
只有檔名: context_management

檔案字尾

如果想單獨提取檔案的字尾，可檢視Path物件的suffix屬性。

>>> file_path = Path('closures.py')
... print("檔案字尾:", file_path.suffix)
... 
File Extension: .py

檔案更多資訊

如果要獲取有關檔案的更多資訊，例如檔案大小和修改時間，則可以使用該stat()方法，該方法和os.stat()一樣。

>>> # 路徑 path 物件
... current_file_path = Path('iterable_usages.py')
... file_stat = current_file_path.stat()
... 
>>> # 獲取檔案大小:
... print("檔案大小（Bytes）:", file_stat.st_size)
檔案大小（Bytes）: 3531
>>> # 獲取最近訪問時間
... print("最近訪問時間:", file_stat.st_atime)
最近訪問時間: 1595435202.310935
>>> # 獲取最近修改時間
... print("最近修改時間:", file_stat.st_mtime)
最近修改時間: 1594127561.3204417

8. 讀取檔案

最重要的檔案操作之一就是從檔案中讀取資料。讀取檔案，最常規的方法是使用內建open()函式建立檔案物件。預設情況下，該函式將以讀取模式開啟檔案，並將檔案中的資料視為文字。

>>> # 讀取所有的文字
... with open("hello2.txt", 'r') as file:
...     print(file.read())
... 
Hello World!
Hello Python!
>>> # 逐行的讀取
... with open("hello2.txt", 'r') as file:
...     for i, line in enumerate(file, 1):
...         print(f"* 讀取行 #{i}: {line}") 
... 
* 讀取行 #1: Hello World!

* 讀取行 #2: Hello Python!

如果檔案中沒有太多資料，則可以使用該read()方法一次讀取所有內容。但如果檔案很大，則應考慮使用生成器，生成器可以逐行處理資料。

預設將檔案內容視為文字。如果要使用二進位制檔案，則應明確指定用r還是rb。

另一個棘手的問題是檔案的編碼。在正常情況下，open()處理編碼使用utf-8編碼，如果要使用其他編碼處理檔案，應設定encoding引數。

9. 寫入檔案

仍然使用open()函式,將模式改為w或a開啟檔案來建立檔案物件。w模式下會覆蓋舊資料寫入新資料，a模式下可在原有資料基礎上增加新資料。

>>> # 向檔案中寫入新資料
... with open("hello3.txt", 'w') as file:
...     text_to_write = "Hello Files From Writing"
...     file.write(text_to_write)
... 
>>> # 增加一些資料
... with open("hello3.txt", 'a') as file:
...     text_to_write = "\nHello Files From Appending"
...     file.write(text_to_write)
... 
>>> # 檢查檔案資料是否正確
... with open("hello3.txt") as file:
...     print(file.read())
... 
Hello Files From Writing
Hello Files From Appending

上面每次開啟檔案時都使用with語句。

with語句為我們建立了一個處理檔案的上下文，當我們完成檔案操作後，它可以關閉檔案物件。這點很重要，如果我們不及時關閉開啟的檔案物件，它很有可能會被損壞。

10. 壓縮和解壓縮檔案

壓縮檔案

zipfile模組提供了檔案壓縮的功能。使用ZipFile()函式建立一個zip檔案物件，類似於我們對open()函式所做的操作，兩者都涉及建立由上下文管理器管理的檔案物件。

>>> from zipfile import ZipFile
... 
... # 建立壓縮檔案
... with ZipFile('text_files.zip', 'w') as file:
...     for txt_file in Path().glob('*.txt'):
...         print(f"*新增檔案: {txt_file.name} 到壓縮檔案")
...         file.write(txt_file)
... 
*新增檔案: hello3.txt 到壓縮檔案
*新增檔案: hello2.txt 到壓縮檔案

解壓縮檔案

>>> # 解壓縮檔案
... with ZipFile('text_files.zip') as zip_file:
...     zip_file.printdir()
...     zip_file.extractall()
... 
File Name                                             Modified             Size
hello3.txt                                     2020-07-30 20:29:50           51
hello2.txt                                     2020-07-30 18:29:52           26

結論

以上就是整理的Python常用檔案操作，全部使用內建函式實現。當然，也可以藉助比如pandas等庫來完成一些操作。

原創不易，覺得不錯點個贊。

歡迎關注我的個人公眾號：Python資料科學

資料科學學習網站：datadeepin

相關文章