python常用標準庫（os系統模組、shutil檔案操作模組）

常用的標準庫

系統模組

import os

系統模組用於對系統進行操作。

常用方法

os模組的常用方法有數十種之多，本文中只選出最常用的幾種，其餘的還有許可權操作、檔案的刪除建立等詳細資料可以參考官方文件。

system -- 執行系統命令

引數的資料型別是字串格式，內容是系統指令。執行時，直接返回系統輸出。

import os

os.system('ifconfig')  # Linux系統shell命令
os.system('ipconfig')  # Windows系統dos命令

popen -- 執行系統命令

在使用system執行系統命令的時候，發現在windows系統下執行命令時，中文字元發生了亂碼！這是因為windows為減少佔用，對中文系統使用GB格式編碼，而python中預設使用的UTF-8編碼，編碼不相容導致了亂碼問題。

popen也可以執行系統指令，但是和system的工作方式不一樣。

popen執行系統指令之後返回物件，通過內建方法read讀出字串，這個過程中read方法自動的將其它編碼轉換成為了UTF-8格式，所以popen相比system有更高的可讀性和相容性。

而在實際的使用過程中，發現popen不存在阻塞，即在執行一些長時間系統任務的時候，不會等待系統任務結束，python程式碼就會繼續執行，在某些場景下會導致問題的出現。比如在我的一個場景中，要將一個資料夾中的檔案刪除，之後在重寫一份檔案，使用popen導致檔案還沒有刪除，而程式碼繼續執行使新檔案已經寫好，而這個時候popen又將我新寫的檔案刪除，導致我的程式在後續出現bug。所以，如果沒有可讀性的要求，我建議優先使用system方法。

import os

obj = os.popen('ipconfig')
res = obj.read()
print(res)

listdir -- 獲取指定資料夾中的所有檔案

獲取指定資料夾中的所有檔案（包括檔案和資料夾），返回檔案的名稱，以列表的形式返回，預設情況為當前路徑。

import os

# 預設為當前路徑
files = os.listdir()
print(files)

# 相對和絕對路徑都可以使用
files = os.listdir('C:')
print(files)

walk -- 遞迴遍歷目錄

遞迴遍歷指定目錄，包括其所有的子目錄，返回一個迭代器物件。迭代器每次返回一個元組，元組為三個元素：

1. 第一個元素為字串，表示當前目錄路徑；
2. 第二個元素為列表，表示當前目錄下的所有資料夾名（不包括子目錄中的）；
3. 第三個元素為列表，表示當前遍歷目錄中的所有檔名（不包括子目錄中的）；

主要引數	含義
top	指定目錄；
topdown	正序遍歷還是倒序遍歷，預設為True（正序）；

請看下例，目錄結構如下：

C:\USERS\MSR\DESKTOP\TEST
│root.txt
├─1
│  ├─1.txt
│  └─111
│     └─11.txt
└─2
   └─2.txt

import os

path = r'C:\Users\MSR\Desktop\test'

# 正序遍歷
res = os.walk(path)  # 返回迭代器
for i in res:
    print(i)
r"""
('C:\\Users\\MSR\\Desktop\\test', ['1', '2'], ['root.txt'])
('C:\\Users\\MSR\\Desktop\\test\\1', ['111'], ['1.txt'])
('C:\\Users\\MSR\\Desktop\\test\\1\\111', [], ['11.txt'])
('C:\\Users\\MSR\\Desktop\\test\\2', [], ['2.txt'])
"""

# 倒序遍歷（優先展示最深子目錄）
res = os.walk(path, topdown=False)
for i in res:
    print(i)
r"""
('C:\\Users\\MSR\\Desktop\\test\\1\\111', [], ['11.txt'])
('C:\\Users\\MSR\\Desktop\\test\\1', ['111'], ['1.txt'])
('C:\\Users\\MSR\\Desktop\\test\\2', [], ['2.txt'])
('C:\\Users\\MSR\\Desktop\\test', ['1', '2'], ['root.txt'])
"""

getcwd -- 獲取當前工作路徑

import os

# 獲取當前的工作路徑
dir_path = os.getcwd()
print(dir_path)  # E:\0-project\python\test

# 獲取當前檔案的路徑
file_path = __file__  # 使用內建屬性__file__獲取
print(file_path)  # E:/0-project/python/test/test3.py

注意：getcwd()獲取的使用當前工作路徑，__file__是獲取當前檔案的路徑。

對於這個注意事項，大家一定要銘記於心，因為我被人欺騙了，當然這應該算是pycharm的坑吧！

注意了，檔案的所在路徑和工作路徑是不相同的，檔案的所在路徑就是在系統中的這個指令碼檔案實實在在的地址，如果這個檔案在C:\下，那麼在任何的情況下這個檔案的所在路徑都是C:\；而工作路徑不同，如果我們在C:\下執行這個python檔案，那麼我們的工作路徑就是C:\，如果我們是在D:\下執行，那麼我們的工作路徑就是D:\，這就是檔案所在地址和工作地址的區別，但是在一般情況下，我們執行檔案都是在檔案的所在地址執行的，所以大部分的時候檔案所在路徑和當前工作路徑都是相同的。

可我在最開始學習這個方法的時候，我的老師教我說getcwd()的作用是獲取檔案的所在路徑，那麼是什麼讓我一直以為getcwd()的作用是獲取檔案的所在路徑呢？是老師教給我的……感覺這個老師很不靠譜？那麼老師怎麼沒有發現其中的含義呢？我怎麼又一直深信不疑呢？我覺得這個一定是要pycharm來背鍋了！我們在學習的時候一般都是相信自己的實際操作的結果的，我們執行的結果是什麼，反覆那麼幾次，我們的印象就會加深！

然後今天2021年12月7日20:58:09我在給公司的專案寫一個啟動指令碼，目的是為了避免使用繁瑣的命令去啟動關閉專案，那麼我在寫的時候為了能夠在系統的任何一個地方都是可以使用這個指令碼，所以將命令中的各種路徑全部寫為絕對路徑，我們系統工程師對絕對路徑是非常熟練的！但是在我寫好使用的時候就發現程式根本就啟動不起來，已啟動就死掉了，我就開始找原因，後來我發現在程式的目錄下啟動就沒有問題，在其它的地址啟動就有問題，我就意識到這是路徑的錯誤。當然我們是有日誌的，我看日誌說是配置檔案相關的地方出現了錯誤，我一看，就很好奇，配置檔案是在程式的目錄中的，讀取的時候使用相對路徑來獲取，但是卻沒有讀到檔案，但是我檢查之後檔案是存在的！那麼這個問題就很明顯了，工作路徑出了問題。

但是我還疑惑，為什麼會影響到相對路徑嗎？然後我就測試了getcwd，發現果然如此，getcwd返回的不是檔案的所在地址而是當前所在的工作地址，這個時候我還不死心，因為當時老師說的不是這樣，所以我以為是linux和windows的差異，所以我就咋愛windows中又測試了一遍，發現還是一樣的。那麼我就又疑惑了，怎麼在pycharm中，工作路徑始終都是檔案的所在路徑呢？然後我就發現原來pycharm中可以指定檔案的工作路徑，而且預設將當前的檔案路徑作為工作路徑使用。

然後我看文件介紹：Return a unicode string representing the current working directory. ，emmm估計當時老師也是被pycharm坑了吧。所以大家以後如果想要在程式中固定工作路徑，可以在啟動檔案中使用__file__獲取，或者使用os.chdir方法。

然後最後還是在強調一下：工作路徑會影響到相對路徑的使用，但是不會影響到sys.pathpython的環境變數。

chdir -- 修改當前工作路徑

之前我們有學過很多的函式，他們在涉及到路徑的時候，一般預設情況都是當前指令碼檔案所在的目錄（比如剛才的listdir、getcwd），如果將檔案的預設工作路徑修改，就會影響到其它的一些功能，比如說我們匯入檔案使用相對路徑等，所以，謹慎使用。

import os

# 在修改預設工作路徑前使用
print(os.getcwd())  # E:\0-project\python\test

# chdir 修改當前檔案工作的預設路徑
os.chdir('C:')

# 在修改工作路徑後使用
print(os.getcwd())  # C:\

access -- 測試許可權

用於測試一個指定路徑或者檔案的許可權，返回True或者False。

語法：os.access(path, mode)

必要引數為path和mode，分別表示路徑和測試的許可權型別。

mode	說明
os.F_OK	是否存在；
os.R_OK	是否可讀；
os.W_OK	是否可寫；
os.X_OK	是否可執行；

urandom -- 隨機位元組物件

返回包含適合加密使用的隨機位元組的bytes物件。

import os

# 引數為位元組長度
key = os.urandom(1)
print(key, len(key))
# b'\x92' 1

key = os.urandom(5)
print(key, len(key))
# b'\xde\x05/lh' 5

getpid&getppid -- 獲取程式和父程式

getpid用於返回當前程式（指令碼檔案）的程式ID，getppid用於返回當前程式（指令碼檔案）的父程式ID。

# 獲取程式唯一ID(PID)
import os

# getpid 返回當前程式的ID
print(os.getpid())  # 10784

# getppid 返回父程式的ID
# 如果父程式已退出，Windows計算機仍將執行返回其id；其他系統將返回“init”程式的id；
print(os.getppid())  # 16468

cpu_count -- 獲取CPU核心數（邏輯）

import os

print(os.cpu_count())

"""
結果：
8
"""

常用屬性

enciron -- 操作環境變數

import os

#  獲取系統的所有環境變數
ev_var = os.environ
print(ev_var)

# 獲取系統指定的環境變數
path_ev_var = os.environ['PATH']
print(path_ev_var)

# 新增環境變數
os.environ['PATH'] += r':/home/msr'  # Linux使用冒號分隔
os.environ['PATH'] += r';C:\Users\MSR'  # Windows使用分號分隔

# 其實可以看到，環境變數其實就是一個特殊的字典，修改環境變數就是在操作一個字典資料而已

name & sep & linesep

import os

# name 獲取系統標識（Linux ->posix   windows -> nt）
print(os.name)  # nt

# sep 獲取路徑分隔符號
print(os.sep)  # \

# linesep 獲取系統的換行符號
print(repr(os.linesep))  # '\r\n'

檔案操作

mknod & remove -- 新建&刪除檔案

windows系統不支援此方法。

import os

os.mknod('test.txt')
os.remove('test.txt')

mkdir & rmdir -- 建立&刪除資料夾

import os

os.mkdir('test_dir')
os.rmdir('test_dir')

rename -- 重新命名檔案或資料夾

語法：rename(old_path, new_path)

import os

os.rename('test.txt', 'hahaha.txt')

makedirs & removedirs -- 迭代建立&刪除資料夾

import os

# 迭代建立資料夾
os.makedirs('a/b/c/d/e')

# 迭代刪除資料夾（資料夾中存在檔案，則該資料夾不刪除）
os.removedirs('a/b/c/d/e')

路徑模組

import os.path

路徑模組也是系統模組中的一部分。

basename -- 返回路徑中的檔名部分

import os.path

# 該路徑不一定真實存在
file_path = r'..\學習筆記\day1筆記.py'
file_name = os.path.basename(file_path)
print(file_name)  # day1筆記.py

dirname -- 返回路徑中目錄部分

import os.path

file_path = r'..\學習筆記\day1筆記.py'
dir_path = os.path.dirname(file_path)
print(dir_path)  # ..\學習筆記

split -- 將目錄和檔名拆分成兩部分

import os.path

file_path = r'..\學習筆記\day1筆記.py'
tuple_var = os.path.split(file_path)
print(tuple_var)  # ('..\\學習筆記', 'day1筆記.py')
print(type(tuple_var))  # 返回元組: <class 'tuple'>

join -- 將多個路徑組合在一起

import os.path

path1 = 'abc'
path2 = '123'
path3 = 'main.py'

# 使用join組合
path = os.path.join(path1, path2, path3)
print(path)  # abc\123\main.py

# 也可以使用 os.sep
path = path1 + os.sep + path2 + os.sep + path3
print(path)  # abc\123\main.py

splitext -- 將檔名分為檔名和字尾名

import os.path

# 分開檔名
file_name = 'main.py'
res = os.path.splitext(file_name)
print(res)  # ('main', '.py')
print(type(res))  # <class 'tuple'>

# 分來完整路徑
file_path = r'..\學習筆記\day1筆記.py'
res = os.path.splitext(file_path)
print(res)  # ('..\\學習筆記\\day1筆記', '.py')
print(type(res))  # <class 'tuple'>

# 也可以使用字串內建方法 split 實現
res = file_path.split('.')
print(res)  # ['', '', '\\學習筆記\\day1筆記', 'py']
print(type(res))  # <class 'list'>

getsize -- 獲取指定檔案的大小

import os.path

# 獲取指定檔案的大小（單位：byte）
file_size_byte = os.path.getsize('test.txt')

getctime -- 獲取檔案的建立時間

獲取檔案的建立時間，返回時間戳。（windows有明確的建立時間，linux只有最後一次的修改時間。）

import os.path
import time

# 獲取檔案建立時間
stamp_time = os.path.getctime('./test.py')
print(stamp_time)  # 1613989768.3445127

# 配合 時間模組使用 獲取時間
print(time.ctime(stamp_time))  # Mon Feb 22 18:29:28 2021

getmtime -- 獲取檔案的最後一次修改時間

import os.path
import time

# 獲取檔案最後一次修改時間
stamp_time = os.path.getmtime('./test.py')
print(stamp_time)  # 1614037683.1067748

# 配合 時間模組使用 獲取時間
print(time.ctime(stamp_time))  # Tue Feb 23 07:48:03 2021

getatime -- 獲取檔案最後一次訪問時間

import os.path
import time

# 獲取檔案最後一次訪問時間
stamp_time = os.path.getatime('./test.py')
print(stamp_time)  # 1635590737.799415

# 配合 時間模組使用 獲取時間
print(time.ctime(stamp_time))  # Sat Oct 30 18:45:37 2021

isdir & isfile & islink -- 檢查路徑型別

不檢查路徑是否真實存在。

import os.path

# 檢查路徑型別，返回布林值：
    # 不是對應型別或沒有相應檔案 ： False
    # 是對應型別：True

# isdir 檢查路徑是否是資料夾
res = os.path.isdir('test.txt')

# isfile 檢查路徑是否是檔案
res = os.path.isfile('test.txt')

# islink 檢查路徑是否是連結
res = os.path.islink('test.txt')

isabs -- 檢查路徑是否是絕對路徑

不檢查路徑是否真實存在

import os.path

# 檢查windows路徑
path = r'E:\小黃片'
res = os.path.isabs(path)
print(res)  # True

# windows系統檢查Linux路徑
path = r'/root/home'
res = os.path.isabs(path)
print(res)  # True

abspath -- 相對路徑轉成絕對路徑

先檢查一個路徑是否是相對路徑，是則將其轉成絕對路徑，反之不變。

轉成絕對路徑的規則是：以當前的工作路徑為基準，根據相對路徑中的相對級別，將對應級別的工作路徑替換為原路徑中的相對路徑。

不檢查路徑是否真實存在。

import os.path

# 絕對路徑不改變
path = r'E:\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\學習資料

# 相對路徑轉成絕對路徑
path = r'..\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\0-project\python\學習資料

# 根據級別自動轉換
path = r'..\..\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\0-project\學習資料

# 如果相對的級別過多，就以根目錄為準（不會報錯）
path = r'..\..\..\..\..\..\..\..\..\..\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\學習資料

exists -- 檢查路徑是否真實存在

檢查路徑是否真實存在，返回布林值。

import os.path

# 檢查指定路徑是否存在
path = r'E:\小黃片'
res = os.path.exists(path)
print(res)  # False

檔案複製移動模組（檔案操作）

import shutil

用於對檔案進行操作。

獲取檔案資訊，獲取檔案資訊，見系統模組。

copyfileobj -- 複製檔案（內容）

只複製檔案的內容，通過檔案IO操作，將一個檔案的物件複製到另一個檔案物件當中，因為需要在檔案IO物件中操作，所以不推薦使用。

語法：copyfileobj(fsrc, fdst, length=16*1024)

copyfileobj(被複制檔案物件，新檔案物件，一次性讀取字元數量。)

import shutil

with open('test.txt', 'r', encoding='UTF-8') as fp1 :
   with open('test2.txt', 'w', encoding='UTF-8') as fp2 :
      shutil.copyfileobj(fp1, fp2)

copyfile -- 複製檔案（內容）

底層呼叫copyfileobj，使用方便快捷，所以推薦使用。

語法：copyfile(被複制檔案路徑， 新檔案路徑)

import shutil

shutil.copyfile('test.txt', 'test2.txt')

copymode -- 複製檔案（許可權）

僅複製檔案的許可權，不復制檔案的內容（被賦值許可權的檔案必須存在），語法和copyfile相同。

import shutil

shutil.copymode('test.txt', 'test.txt')

copystat -- 複製檔案（除了內容）

複製檔案的所有的狀態資訊，包括各種日期、許可權……就是沒有內容。

import shutil

shutil.copystat('test.txt', 'test.txt')

copy & copy2 -- 複製檔案

import shutil

# 複製檔案內容和許可權
shutil.copy('test.txt', 'test.txt')

# 完整複製整個檔案（包括狀態、許可權、內容……）
shutil.copy2('test.txt', 'test.txt')

copytree -- 迭代複製資料夾中的所有

import shutil

shutil.copytree('../學習筆記', '../學習筆記備份')

rmtree -- 迭代刪除資料夾（即使資料夾中有檔案）

import shutil

shutil.rmtree('..\小黃片')

move -- 移動檔案或資料夾

import shutil

shutil.move('D:\學習資料', 'C:\我的心血')