SR3+: Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild

SR3+는 CVPR 2023에서 발표되었고, 아주 간단하다. 바로 SR3를 좀 더 강건하게 만들어 보자는 것이다. 그렇다면 어떻게 강건하게 만들 것인가? 바로 super resolution을 위한 degradation, 즉 고화질 이미지를 저화질 이미지로 만들 때 보다 더 복잡한 형태로 만들어서 다양한 형태의 저화질 이미지를 만들어서 학습하자는 것이다. SR3는 아래 소개되어 있다.

2024.05.27 - [논문리뷰/Diffusion models] - SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021)

SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021)

 

Super Resolution task에서는 아래와 같은 방식으로 학습이 이루어진다. 먼저 고해상도 이미지를 저해상도로 변환한다. 그런 다음 저해상도 이미지를 가지고 학습을 하는데, 이 때 고해상도 이미지를 ground truth 삼아서 학습을 진행한다. 근데 저해상도 이미지를 고해상도로 복원 할 때, 타켓이 되는 고해상도 이미지의 정답이 여러 개 존재할 수 있다. 이런 경우를 ill-posed problem 이라고 한다.

 

그런데 SR3는 고해상도 이미지를 저해상도 이미지로 변환할 때, resize를 사용하여 변환한다. 아래 그림과 같은 flow로 진행된다. (참조: https://ffighting.net/deep-learning-paper-review/diffusion-model/sr3/)

 

반면 SR3+는 고해상도 이미지를 저해상도로 변환할 때, 즉  degradation(이미지를 저해상도로 변환하는 것)을 할 때 아래와 같은 방법을 쓰며 이는 Real-ESRGAN의 방법론을 참조하여 구성된다.

 

이후의 학습 과정은 SR3와 동일하다. 다만 실제 Real-ESRGAN의 degradtion 방법과 비교했을 때에는 조금 차이는 있다.

 

결과적으로 OOD task, 즉 알려지지 않은 분포를 가진 이미지에서도 잘 작동함을 증명하였다.