[python] OpenCV, PIL, Numpy, PyTorch 타입 분석, 타입 변환 정리

# PIL

• RGB 타입으로 이미지 읽음
• torchvision.transforms 모듈에서 지원하는 데이터 타입이 PIL의 Image array 이므로 pytorch 프레임워크 사용시 PIL 로 이미지를 로딩하는 방식을 많이 사용
• numpy array 인덱싱 불가능 → 상황에 따라 numpy array로 바꾸기 위한 작업 필요 
• 사이즈 확인시 .size() 메서드로 확인 가능한데, (W,H)로 출력됨. 하지만, numpy array 로 변환시 (H,W,C)로 나오니까 주의. 즉, .size()로 확인 시에만 (W,H)로 나오는 것. 

from PIL import Image

image = Image.open("image.jpg").convert('RGB')
image.show()
image.save("saved_image.jpg")

 

 

# OpenCV

• BGR 타입으로 이미지 읽음
• PIL에 비해 더 많은 기능(함수) 지원
• cv2 함수에 numpy array 를 input으로 사용 가능 - numpy array 와의 호환성 좋음
• numpy array 인덱싱 사용 가능
• torchvision 과의 호환성은 좋지 않음

import cv2

BGR_image = cv2.imread("image.jpg")
RGB_image = cv2.cvtColor(BGR_image, cv2.COLOR_BGR2RGB)
gray_image = cv2.imread("image.jpg",0)

cv2.imshow('color image', BGR_image)
cv2.waitkey(0)

cv2.imshow('gray image', gray_image)
cv2.waitkey(0)

cv2.imwrite('saved_image.jpg', color_image)

 

# Matplotlib

import matplotlib.pyplot as plt

image = plt.imread('image.jpg')

plt.imshow(image)
plt.show()

 

# PyTorch image tensor

• C x H x W 구조
• 픽셀 밝기 값이 0~1 범위

 

# 타입 변환

이미지 전처리를 하거나 딥러닝 프레임워크를 사용하기 위해서는 데이터 타입 변환을 자주 사용하게 되는데 몇가지 주의사항이 있다.

 

• 일반적인 이미지 데이터는 (H,W,C) 순의 0~255 픽셀값으로 저장이 되는데, PyTorch Tensor 의 경우 (C,H,W) 순의 0~1로 정규화되어 사용
• PIL image / Numpy array 타입을 PyTorch Tensor 로 변경해주는 torchvision.transforms.ToTensor() 함수의 경우 (H,W,C), 0~255 픽셀값을 자동으로 (C,H,W), 0~1 픽셀값으로 변환해주고, 다시 PyTorch Tensor 를 PIL image 타입으로 변경해주는 torchvision.transforms.ToPILImage() 함수 또한 (C,H,W), 0~1 픽셀값을 (H,W,C), 0~255 로 변환
• 하지만, 기존 메모리를 그대로 상속받아 numpy array를 PyTorch Tensor 로 변환해주는 torch.from_numpy() 함수의 경우 numpy array의 인덱스 순서와 픽셀값이 유지되기 때문에 사전에 채널축과 픽셀값을 조정하는 과정이 필요

 

 

*정리

• PIL image / Numpy array → PyTorch Tensor (채널 축, 픽셀 값 범위 변경 O) : torchvision.transforms.ToTensor()
• PyTorch Tensor → PIL image (채널 축, 픽셀 값 범위 변경 O) : torchvision.transforms.ToPILImage()
• Numpy array → PyTorch Tensor (채널 축, 픽셀 값 범위 변경 X) : torch.from_numpy()
• PIL image / OpneCV image / PyTorch Tensor → Numpy array : np.array(input_data)

from PIL import Image
import numpy as np
import cv2
import matplotlib.pyplot as plt
import torch
from torchvision.transforms import ToTensor, ToPILImage

image_PIL = Image.open("image.jpg")
image_PIL = image_PIL.convert('RGB')

image_plt = plt.imread('image.jpg')

image_numpy = np.array(image_PIL)
image_numpy_to_PIL = Image.fromarray(image_numpy)

image_cv_BGR = cv2.imread("image.jpg")
image_cv_RGB = cv2.cvtColor(image_cv_BGR, cv2.COLOR_BGR2RGB)

ToPILImage_ = ToPILImage() 
ToTensor_ = ToTensor()

# torchvision.transforms.ToTensor() : PIL/numpy -> PyTorch Tensor 
PIL_ToTensor_tensor = ToTensor_(image_PIL) # H,W,C, 0~255 -> C,H,W, 0~1
Numpy_ToTensor_tensor = ToTensor_(image_numpy) # H,W,C, 0~255 -> C,H,W, 0~1

# torch.from_numpy() : numpy array -> PyTorch Tensor 로 변환 시 기존 메모리 상속
Numpy_to_tensor_from_numpy = torch.from_numpy(image_numpy)

# PyTorch Tensor to numpy array
PIL_ToTensor_tensor_to_Numpy = np.array(PIL_ToTensor_tensor)
Numpy_ToTensor_tensor_to_Numpy = np.array(Numpy_ToTensor_tensor)


# torchvision.transforms.ToPILImage() : PyTorch Tensor -> PIL  
img_PIL_from_Tensor = ToPILImage_(PIL_ToTensor_tensor) # C,H,W, 0~1 -> H,W,C, 0~255

 

* https://github.com/ethereon/lycon 의 benchmark 를 보면 여러 함수의 처리 속도가 opencv 가 월등히 좋은 것을 볼 수 있음.