[CV] JPEG, MPEG : 기초적인 영상 압축 기법

영상 압축 관련 내용을 다시 공부할 기회가 생겨 까먹기 전에 정리하려 한다.

 

미디어 데이터는 기하급수적으로 많아지고 이를 저장할 공간은 물리적으로 한계가 있기 때문에 영상 압축은 중요한 기술이다. 최근 연구에서는 딥러닝을 이용한 압축 방법들이 많이 소개되었는데 영상 압축 과정 전체를 딥러닝 구조(CNN 구조)로 바꾸는 것이 아니라, 아래에서 소개하는 기본적인 압축 과정에서 일부 과정을 딥 뉴럴 네트워크로 대체하여 압축 효율과 퀄리티를 높이는 방식이다. 아직 제대로 보진 않았지만 딥러닝 방식의 압축은 아무래도 학습 데이터에 dependency가 높을 것이기 때문에 기존의 전통적인 방법보다 성능이 좋더라도 임의의 영상(소비자가 업로드 하는)을 압축하기에는 어려운 점이 있을 것이다.

 

기본적으로 영상 압축은 Spatial redundancy와 Temporal redundancy를 이용하고 대표적인 압축방법인 JPEG, MPEG을 아주 간략하게 소개한다.

 

JPEG 압축 (이미지)

 

JPEG 압축은 이미지를 frequency domain 으로 변환하여 사람이 잘 인식하지 못하는 High-frequency 성분을 일부 제거하여 압축하는 방식이다.

 

1. 색공간변경(RGB to YCbCr)

• Y 는 밝기, Cb, Cr 은 색차 성분. 
• RGB 색공간을 YCbCr 색공간으로 바꾸는 이유는 사람의 눈은 색상 정보보다 밝기 정보에 더 민감하다는 사실을 이용하여 Y 성분은 유지하고, Cb, Cr 성분은 Chroma Subsampling 하여 1차적인 압축을 하기 위함

 

2. Chroma Subsampling (Downsampling)

• Cb, Cr 성분을 줄이기 위해 인접한 픽셀들끼리 그룹화하고 어느 픽셀값을 버릴지 선정, 남은 픽셀이 해당 그룹을 대표한다.
• 샘플링 이후 각 채널을 8x8 크기의 block으로 분할해서 이후 단계 진행

 

3. DCT(Discrete Cosine Transformation)

Two-dimensional DCT frequencies from the  JPEG DCT

• 이미지에서 인접한 픽셀간의 intensity 차이가 작은 경우 low-frequency를 가지고, 차이가 큰 경우 high-frequency를 가진다
• 사람은 저주파 성분이 손실되면 큰 변화로 인식하고 고주파 성분은 일부 손실되더라도 크게 인지하지 못한다
• 이러한 사실을 이용하여 저주파 성분은 유지하고 고주파 성분을 줄이는 방식으로 압축을 진행

 

• 이를 위해 이미지를 spatial domain 에서 frequency domain 으로 변환해야하고, 주로 DCT 를 사용
• 각 8x8 block에 DCT 를 수행하면 frequency 행렬 (0,0) 위치에 저주파 성분(DC 계수)이 배치되고, 우측 하단으로 갈수록 고주파 성분(AC 계수)이다.
• DC 계수는 해당 block 전체의 명도를 결정하는 평균 색상 값을 가지고 대부분의 이미지의 경우 인접한 픽셀은 거의 비슷한 색상을 가지므로 DC 성분에 값이 집중됩니다.

4. Quantization(양자화)

Quantization

• Quantization은 continuous한 신호를 discrete 하게 매핑시키는 역할을 수행
• JPEG 압축 과정에서 quantization는 고주파 성분을 제거하기 위한 방법으로 주파수 행력의 각 계수에 대해 미리 선언된 quantization matrix의 상수로 나눈 후 반올림
• 아래 quantization matrix 예시를 보면 좌측 상단에서 우하단으로 갈수록 값이 커지는 것을 볼 수 있고, 이는 Low frequency(좌상단) 일수록 작은 수로 나누어 값을 유지하고, High-frequency 일수록 큰 값으로 나누어 성분을 작게 만드는 것을 의미

 

Example of Quantization table

압축률과 이미지 품질은 trade-off 관계이고, 양자화 행렬을 조절하면 압축률을 조절할 수 있다.

5. Zigzag Scanning

양자화된 행렬의 우측 하단에는 0이 많기 때문에 이를 효율적으로 저장하기 위해, 행렬 좌측상단에서 우측하단까지 지그재그로 한 벡터에 저장한다.

6. Entropy Coding

• 스캐닝을 통해 하나의 이미지가 하나의 비트스트림으로 표현이 되었는데, 이 비트스트림의 길이를 줄일 수록 더 많이 압축되는 것이다
• 이때 많이 등장하는 값과, 적게 등장하는 값을 표현하는 binary 값에 차이를 주면 스캐닝한 비트스림을 더 줄일 수 있는데, 아무리 줄이더라도 줄일 수 있는 low bound가 존재
• 이 low bound를 entropy 계산을 통해 구할 수 있고 low bound에 가깝게 코딩하는 여러 방법이 존재
• 즉 Entropy coding은 특정 데이터가 등장하는 확률에 따라 코드로 변환하여 압축 효율을 높이는 방법

 

 

MPEG 압축 (비디오)

 

• 프레임 단위의 압축과 더불어 프레임간의 연관성을 이용한 비디오 압축 방법
• 비디오 시퀀스가 가지는 시간축 상의 중복을 없애기 위한 Motion Compression을 적용
• 이는 이전 프레임과 현재 프레임의 차를 이용하여 객체의 움직임을 추정하고 이를 보상하는 방법.

 Motion compression

Motion compression 과정에서는 연속되는 프레임의 차이를 효율적으로 전송하기 위해 세가지 프레임 유형을 사용

 

 

 

I-Frame

• Key frame 이라고도 하며 단일 프레임 단위로 압축(JPEG)
• I-Frame으로 인해 Random access가 가능. (→ 아래 GOP 참조)

 

P-Frame

• 이전 프레임인 I-Frame 으로부터 움직임을 예측한 후 나머지 차이 부분을 DCT 변환하여 압축
• 이전 프레임과 현재 프레임을 비교하여 변화된 부분만 기록하여 압축
• 과거 프레임으로 부터 예측하기 때문에 이전 프레임에 대한 의존도가 높음

 

B-Frame

• 이전 프레임 뿐만 아니라 이후 프레임을 참고하여 쌍방향 예측
• 이전 프레임과 이후 프레임에 대한 의존도가 높음

 

즉, 기본적인 압축 원리는 프레임이 바뀔 때 변화가 있는 부분에 대한 정보(움직임)만 기록하는 것이라고 볼 수 있다.

 

 

GOP (Group of Pictures)

• 키프레임인 I-Frame을 찾기 힘든 경우 역방향 재생시 기준이 없기 때문에 복원이 불가능하고, 동영상의 어느 지점이든 Random Access 발생 시 빠르게 해당 시점의 프레임을 복원해야 함 -> 이를 위해 추가된 구조가 GOP
• 하나의 GOP는 10~15장의 프레임으로 구성되고 GOP 내에는 반드시 I-Frame이 포함되어야 하며, GOP 앞부분에 시퀀스 헤더를 붙여서 Random access 시 시퀀스 헤더의 위치를 확인하고 GOP  내의 I-Frame을 참조하여 영상을 복원