1. PIL Image

  通常, pytorch處理資料集用的是PIL Image的庫, 通過PIL Image來讀取影像檔案, 然後再轉成tensor送給network, 那在送入network之前的這一段都是pytorch的資料前處理部分(data preprocess), 主要是以下幾個步驟

• 開啟影像影像, 產生PIL image格式資料

from PIL import Image

img = Image.open('image_path')

  產生的PIL_image格式資料的取值範圍是[0,255]
  形狀(shape)是[h, w, c]
  畫素順序是RGB

• 經過toTensor()之後

from torchvision.transforms import ToTensor

tensor = ToTensor()(PIL_img)

# 或者

np_data = np.asarray(PIL_img)
tensor = ToTensor()(np_data)

   ToTensor()接收PIL格式的資料, 或者是直接從PIL轉來的np.ndarray格式資料, 只要保證進來的資料取值範圍是[0, 255], 形狀是[h, w, c], 畫素順序是RGB, 它就會幫你做下面的事情
   取值範圍[0, 255] / 255.0 => [0, 1.0], 資料格式從int8變成了float32
   形狀(shape)轉為[c, h, w]
  畫素順序依舊是RGB

• DeblurGAN的資料預處理又多做了一步, 把[0, 1]資料範圍調整到[-1, 1]

from torchvision.transforms import Normalize

tensor = Normalize((0.5, 0.5, 0.5),(0.5, 0.5, 0.5))(tensor)

  (0.5,0.5,0.5)和(0.5,0.5,0.5)分別是三個通道的mean和std, ([0, 1] - mean) / std => [-1, 1]

• 前處理完成, 進入network
     所以, 進入network的資料取值範圍是[-1, 1]
     形狀(shape)是[c, h, w]
     畫素順序是RGB

  經過了Network的處理之後, 出來的還是一個三通道的影像, 取值範圍依然是[-1, 1](在最後一步經過了clamp(-1,1)), 形狀(shape)是[c, h, w], 畫素順序是RGB, 要得到可以看的影像, 那就要把前面的步驟反著再來一遍

• 從tensor獲取numpy格式資料ndarray, 調整shape與PIL Image相同

import numpy as np

image_numpy = image_tensor[0].cpu().float().numpy()
image_numpy = np.transpose(image_numpy, (1, 2, 0))

  transpose(image_numpy, (1, 2, 0))做的事情就是調整shape, 將形狀從[h, w, c]調整到[c, h, w]

• 調整資料範圍從[-1, 1] => [0, 255.0]

image_numpy = (image_numpy+ 1) / 2.0 * 255.0

  這個時候的資料格式還是float32

• 將資料格式float32 => int8

import numpy as np

image_numpy.astype(np.uint8)

• 轉為PIL格式

from PIL import Image

img = Image.fromarray(image_numpy）

   這樣, 便得到了PIL格式的輸出影像, 取值範圍[0,255], 資料格式uint8
   形狀(shape)是[h, w, c]
   畫素順序是RGB

   其實, 從tensor->PIL, pytorch有更方便的做法, 就是ToPILImage

#PIL-> tensor -> PIL
from torchvision.transforms import ToPILImage

PIL_img = Image.open('test_pic.jpeg')
tensor_from_PIL = ToTensor()(PIL_img)
img = ToPILImage()(tensor_from_PIL)

#PIL -> np.ndarray -> tensor -> PIL
from torchvision.transforms import ToPILImage

PIL_img = Image.open('test_pic.jpeg')
np_img = np.asarray(PIL_img)
tensor_from_np = ToTensor()(np_img)
img = ToPILImage()(tensor_from_np)

   ToPILImage()會自動幫你做下面的事情

• 將每個元素*255
• float32 -> uint8
• tensor -> ndarray
• 對ndarray物件做transpose(1, 2, 0)
• 利用Image.fromarray(ndarray)轉為PIL格式

  但是DeblurGAN的輸出範圍是[-1, 1], 如果要直接用ToPILImage(), 那在用之前要先把資料範圍[-1, 1] => [0, 1]

2. Opencv

   上文中, 我們一直在強調畫素順序是RGB, 其實在PIL->tensor->PIL的過程中, 畫素順序是沒有變化的, 但是如果是用opencv來開啟影像, 畫素順序就變成了BGR, 這點要注意

from PIL import Image
import cv2
import numpy as np

cv_img = cv2.imread('image_path')
cv2.imshow("opencv_img", cv_img)

PIL_img = Image.open('image_path')
np_img = np.asarray(PIL_img)
np_bgr_img = cv2.cvtColor(np_img, cv2.COLOR_RGB2BGR)

cv2.imshow("rgb_img", np_img)
cv2.imshow("bgr_img", np_bgr_img)

cv2.waitKey()

   opencv讀取出來的格式是ndarray, 取值範圍[0,255], 資料格式uint8
   形狀(shape)是[h, w, c]
   畫素順序是BGR

   在上一段程式碼的實驗中, 我們分別看opencv_img rgb_img bgr_img是以下這樣的

  也就是說, opencv認的影像格式是uint8, [0,255], 形狀是[h, w, c], 畫素順序是BGR, 如果直接把RGB順序的ndarray給opencv讓它顯示, 就會產生中間那張怪圖

  如果在用pytorch的時候, 影像是用opencv得到的, 那除了前面講的那些步驟之外, 在一開始需要把cv2.imread('image_path')得到的ndarray用cv2.cvtColor(np_img, cv2.COLOR_BGR2RGB)先轉成RGB順序的格式

   多說一句, 在用cv2.imread()的過程中, 出現報錯

The function is not implemented. Rebuild the library with Windows, GTK+2.x or Carbon support. If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config, then re-run cmake or configure script.

   我們的opencv是用conda install opencv直接裝的, 要解決這個問題, 裝一下opencv-python就可以了

pip install opencv-python

Ubuntu下呼叫opencv的cv2.imshow()錯誤

參考文獻

python中PIL.Image和OpenCV影像格式相互轉換
Pytorch之深入torchvision.transforms.ToTensor與ToPILImage
numpy、cv2等操作圖片基本操作
PyTorch載入圖片後ToTensor解讀（含PIL和OpenCV讀取圖片對比
【pytorch】影像基本操作
OpenCV、Skimage、PIL影像處理的細節差異