[논문 리뷰] END-TO-END OPTIMIZED IMAGE COMPRESSION | 딥러닝 방식의 영상 압축

ICLR 2017 에 발표된 논문으로 제목 그대로 end-to-end 방식으로 이미지 압축 딥러닝 모델을 최적화하는 방법을 제안하는 논문입니다.  

이 분야에 대한 지식이 그렇게 많지 않아서 논문 리뷰가 허술(?)할 수 있습니다... ㅎ 

 

 

- 기본적인 영상 압축 설명 : https://mvje.tistory.com/86?category=1033082 

영상 압축 - JPEG, MPEG

Abstract

Nonlinear analysis transformation, uniform quantizer, nonlinear synthesis transformation 으로 구성된 이미지 압축 방법을 설명합니다. 변환은 convolutional linear filter와 nonlinear activation function을 한 단계로 구성하여 연속된 3단계로 구성됩니다. Stochastic gradient descent 의 변형을 통해 학습 이미지에서 rate-distortion 성능을 위해 전체 모델을 jointly 하게 optimize 하여 quantizer에서 발생하는 불연속 loss function에 대한 continuous proxy를 도입합니다. 특정 조건에서 완화된 loss function은 VAE(Variational AutoEncoder)에 의해 구현된 generative model의 log likelihood로 해석될 수 있습니다. 그러나 이러한 모델과 달리 압축 모델은 trade-off 파라미터에 의해 지정된 대로 rate-distortion 곡선을 따라 주어진 지점에서 작동해야 합니다. 테스트 이미지에서 최적화된 방법이 표준 JPEG 및 JPEG2000 압축 방법보다 더 나은 rate-distortion 성능이 나옵니다. 또한 MS-SSIM을 사용하여 객관적인 품질 평가를 통해 지원되는 모든 bit rate에서 모든 이미지에 대한 시각적 품질을 극적으로 개선했습니다.

 

Proposed Method

본 논문에서 제안하는 이미지 압축 구조는 기본적인 JPEG 압축 알고리즘(Transform → Quantization → Entropy Coding → Decoding → Inverse Transform)의 형태를 가집니다. 

이러한 알고리즘에 딥러닝을 적용하기 위해 기존에는 DCT를 쓰던 Transform 과정을 Neural Network로 대체합니다. Quantization 연산은 continuous 한 신호를 discrete하게 바꿔주는 연산이기 때문에 미분이 불가능해서 backpropagation이 불가능합니다. 그래서 본 논문에서는 quantization을 approximation 하여 사용합니다. Inverse Transform 과정은 Neural Network인 Transform 과정의 완전한 역함수는 아니지만, 최종 loss를 mse로 계산하여 네트워크를 업데이트하기 때문에 역함수의 형태를 띄도록 학습될 것 입니다. 

 

 

 

- x : image

- ga : Analysis transform (Encoding transform)

- gs : Synthesis transform (Decoding transform)

 

Architecture

제안한 구조는 크게 Analysis(Encoding), Synthesis(Decoding)으로 나뉘고, 각 구조는 (Convolutional Filter + Pooling + activation function)*3으로 이루어집니다. 특이한 점은 activation function은 Generalized Divisive Normalization(GDN) 이라는 함수를 사용합니다. Batch norm 과 유사하게 베타와 감마는 학습 가능한 파라미터이고, 이러한 task에서 ReLU 대신 GDN을 사용하는 것이 효과적이라고 합니다.

Generalized Divisive Normalization(GDN)

(Conv+pooling+GDN) 을 총 3번 반복하는데 이는 downsampling이 4*2*2 만큼 즉, 16x16 패치 하나를 하나의 값으로 압축하는 것입니다. 이는 8x8 을 하나의 block으로 취급하는 JPEG 보다 더 큰 압축률을 가질 것이라고 예상할 수 있습니다. 

 

Loss Function

Total Loss

 

위 그림에서 R은 Quantization 이후에 생성된 비트스트림의 길이를 최소화 시키기 위한 loss이고 D는 복원된 이미지의 퀄리티가 원래 이미지의 퀄리티와 유사하도록 하는 MSE loss입니다. 비트스트림의 길이를 최소화시키기 위해서는 엔트로피를 최소화해야하므로 위와 같은 loss 식을 가집니다.

 

Quantization Approximation

 

 

Quantization 과정은 approximation 하여 사용하기 위해 반올림 연산이 아닌, y 값에 특정한 노이즈를 추가하여 미분가능하도록 변경합니다. 이는 원래 반올림 연산이 특정 정수값에 -1/2 ~ + 1/2 사이에 있는 값을 특정 정수값으로 매핑시키는 연산이기 때문에, y 값에 -1/2 ~ + 1/2 의 노이즈를 추가해주는 것이라고 볼 수 있습니다.

논문에서는 기존의 quantization 방법(y hat)의 differential entropy와 노이즈를 추가하는 approximation 방법(y tilda)의 differential entropy 방법이 수식적으로 동일하다는 것을 증명합니다. 

 

Experimental Results

Rate-distortion curve는 위쪽으로 갈수록 성능이 좋은 것이고 제안된 방식이 모든 bit rate에서 JPEG과 JPEG2000을 능가합니다.

 

 

 

실제 복원 결과를 보면 제안된 방법의 이미지가 노이즈가 덜하고 조금 더 픽셀들이 연속성있게 보이는 것을 확인할 수 있습니다. 

 

 

위 figure는 1행은 JPEG, 2행은 Proposed method, 3행은 JPEG200인데 오른쪽으로 갈수록 퀄리티를 줄이고 압축률을 높인 실험결과입니다. 압축률을 높임에 따라 퀄리티가 아주 많이 떨어지는 JPEG과 JPEG2000에 비해 제안된 방법은 퀄리티가 크게 저해되지 않는 것을 볼 수 있습니다. 

 

Discussion

조금 의구심이 드는 부분은 아무래도 딥러닝 방법 자체가 학습 데이터셋에 영향이 상당히 크고, 독립된 Training data와 Test data로 실험하더라도 두 data의 distribution이 크지 않은 경우가 많습니다. 때문에 완전히 다른 분포의 이미지가 들어왔을 때도 압축 성능이 좋은지? 그리고 정량적(PSNR, MS-SSIM)으로 퀄리티가 좋은 이미지가 실제로 시각적으로도 무조건 좋은 이미지 인지?(논문에서 기재한 결과물들이 체리피킹인지 아닌지) 가 조금 궁금합니다. 물론 2017년 논문이라 더 좋은 방법들이 많이 나왔을 것 같은데, 아직 읽어보지 못했기 때문에 ... 추후에 더 읽어볼 기회가 생기면 기록하도록 하겠습니다.