[Gen AI] Diffusion Model과 DDPM 개념 설명

생성 모델에서 Diffusion 모델은 고해상도 이미지를 생성하는 핵심 기술로 주목받고 있는데, 이 모델은 노이즈를 점점 제거해가며 이미지를 생성한다는 개념으로, Stable Diffusion, DALL·E 2 등 다양한 모델의 기반이 되고 있다.

 

이 글에서는 Diffusion Model의 개념부터 가장 기본이 되는 DDPM(Denoising Diffusion Probabilistic Model)의 학습 및 생성 과정에 초점을 맞추어 설명한다. 수식보다는 개념적 설명에 집중했다.

---

1. Diffusion Model이란?

디퓨전 모델은 데이터에 점점 가우시안 노이즈를 추가해 완전히 무작위한 상태로 만든 뒤, 그 반대 과정을 통해 노이즈에서 원본 이미지를 복원하는 방식이다. 이 과정을 두 단계로 나눌 수 있다. 먼저 forward process에서는 원본 이미지에 조금씩 노이즈를 추가해 점차 손상시키고, 마지막에는 순수한 노이즈 상태로 만든다. 이후 reverse process에서는 그 노이즈에서 출발해 이미지를 한 단계씩 복원해 나간다.

예를 들어 고양이 사진이 있다면, forward 과정에서는 사진이 점점 뿌옇게 변하다가 결국 회색 노이즈만 남게 된다. 학습이 끝난 모델은 이 회색 노이즈에서 시작해, 다시 고양이 사진을 만들어낼 수 있게 된다.

 

2. DDPM (Denoising Diffusion Probabilistic Models)

DDPM은 2020년 Ho et al.의 논문 “Denoising Diffusion Probabilistic Models”에서 처음 제안되었으며, 디퓨전 모델의 가장 기본적인 형태이다. 이미지에 노이즈를 점점 더해가며 망가뜨리는 과정과 그 반대로 노이즈를 제거하면서 이미지를 복원하는 과정을 학습하는 모델로 이러한 과정을 통해, 무작위 노이즈에서 고해상도 이미지를 생성할 수 있게 되는 것이 DDPM의 핵심이다.

 

✅ Forward Process

 

DDPM에서 먼저 수행되는 것은 원본 이미지에 점진적으로 노이즈를 추가하는 과정이다. 이건 학습을 위한 준비 과정이며, 모델이 직접 이 과정을 학습하지는 않는다. 단지 정해진 방식에 따라 원본을 노이즈로 바꾸어가는 작업이다. 예를 들어 고양이 사진이 있다고 하자. 이 사진에 아주 약간의 가우시안 노이즈를 추가하면, 여전히 고양이의 모습이 보이지만 살짝 흐릿한 이미지가 된다. 이렇게 1,000번 정도 반복해서 계속 노이즈를 더하면, 결국 완전히 랜덤한 노이즈 이미지가 된다. 이 과정을 통해 우리는 원본 이미지 x₀에서 시작해, 노이즈가 점점 더해진 여러 중간 상태 xₜ를 만들 수 있다.

 

그런데 실제 학습에서는 매번 이렇게 1단계씩 거쳐서 x₁, x₂, ..., xₜ를 만드는 게 아니라, x₀과 랜덤하게 샘플링한 노이즈 ε, 그리고 무작위로 선택한 timestep t를 이용해 한 번에 xₜ를 만들어낸다. 이 방식 덕분에 모든 시간 스텝을 시뮬레이션할 필요 없이 학습에 필요한 데이터를 효율적으로 생성할 수 있다.

 

실제 학습에서는 이미지 배치(batch)를 한 번에 여러 개 불러온 뒤, 각 이미지마다 다른 timestep t를 랜덤하게 뽑고, 이에 해당하는 노이즈 ε도 각각 샘플링해 사용한다. 그 결과 하나의 배치 안에 있는 각 이미지들은 서로 다른 정도의 노이즈가 섞인 상태가 된다. 이렇게 만들어진 xₜ들과 각각의 t를 모델에 입력으로 주고, 모델이 예측한 노이즈가 실제 노이즈 ε과 얼마나 가까운지를 비교해 학습한다.

 

✅ Reverse Process

이제 진짜 모델이 학습해야 하는 부분은 역방향 과정(reverse process)이다. 즉, 노이즈가 섞인 이미지 xₜ에서 원래의 이미지(또는 그에 가까운 이미지)를 어떻게 복원하느냐가 핵심이다.

 

하지만 DDPM은 이미지 자체를 직접 복원하려 하지는 않는다. 대신 훨씬 단순한 방식으로 접근한다. 바로 xₜ에 섞여 있는 노이즈 ε을 정확히 예측하는 것이다. 여기서 중요한 점은, 모델이 예측하려는 노이즈는 "바로 이전 단계인 xₜ₋₁과의 차이"가 아니라, x₀에서 t번째 시점까지 누적되어 추가된 전체 노이즈 ε이다. 

 

다시 말해, 모델은 노이즈가 섞인 이미지 xₜ와 해당 시점 t를 입력받고, 이 이미지에 섞여 있던 노이즈가 무엇이었는지를 추정한다. 우리는 학습 데이터를 만들 때 사용한 실제 노이즈 ε을 알고 있으므로, 모델이 예측한 노이즈와 정답 노이즈의 차이를 비교해서 학습할 수 있다. 이 예측 오차는 평균 제곱 오차(MSE)로 계산되며, 그 값을 줄이는 방향으로 모델의 파라미터를 업데이트한다.

 

학습은 이런 과정을 수천 번 반복하면서 이뤄진다. 결과적으로 모델은 다양한 시간 스텝의 노이즈가 섞인 이미지에 대해 노이즈를 정확하게 제거할 수 있는 능력을 얻게 된다. 무작위 노이즈 상태에서도 점차 의미 있는 이미지로 바꿔나갈 수 있게 되는 것이다.

 

✅ Inference

학습이 끝난 후, DDPM은 이미지를 생성할 수 있게 된다. 생성 과정에서는 완전히 무작위한 노이즈 상태인 xₜ(T 시점의 pure noise)에서 시작한다. 그리고 학습된 모델을 이용해 노이즈를 한 단계씩 제거해 나가며 xₜ₋₁, xₜ₋₂, ..., x₀ 순으로 이동한다. 각 스텝에서는 모델이 예측한 노이즈 ε을 기반으로 다음 상태를 계산하고, 이를 반복해서 결국 원본 이미지처럼 보이는 x₀에 도달하게 된다.

 

즉, 학습 단계에서는 x₀에서 xₜ까지 한 번에 섞인 누적 노이즈 ε을 예측하도록 학습했지만, 생성(Inference) 단계에서는 이 예측된 노이즈를 활용해 매 스텝마다 xₜ에서 xₜ₋₁으로 이동하는 과정을 순차적으로 수행한다. 이게 가능한 이유는, 학습된 모델이 예측한 ε을 활용해 수식적으로 x₀를 근사할 수 있고, 그 근사된 x₀와 현재 상태 xₜ를 이용해 다음 상태인 xₜ₋₁을 계산하는 공식이 이미 정의되어 있기 때문이다. 즉, 모델이 예측하는 값은 항상 전체 노이즈지만, 그 예측을 기반으로 다음 상태를 계산하는 방식은 정해진 알고리즘으로 수행된다.

 

이 과정은 이터러티브하게 수백 또는 수천 단계(T=1000 등) 동안 반복된다. 각 단계마다 현재 상태에 대해 노이즈를 예측하고 제거하는 식으로 점진적으로 이미지를 만들어낸다.

 

💡그럼 왜 학습 때처럼 한 번에 전체 노이즈를 예측해서 한 번에 x₀을 만들지 않고, 한 단계씩 역으로 되돌려야 할까?

 

이 질문에 대해 논문에서는 이 과정을 Progressive Lossy Decompression으로 설명한다. 이는 오토리그레시브 디코딩의 일반화된 형태로 볼 수 있으며, 한 번에 전체 이미지를 생성하는 것보다 더 안정적인 생성이 가능하다는 장점이 있다. 논문 4.3절의 실험 결과에 따르면, 각 단계마다 이미지 품질(RMSE 기준)이 점진적으로 향상되는 것을 확인할 수 있다. 작은 노이즈 예측 오류가 한 번에 전체 x₀를 만들 경우 이미지 전반에 퍼지는 오류로 이어질 수 있는 반면, 여러 스텝에 걸쳐 점진적으로 이미지를 복원하면 각 단계에서의 오류를 보정할 수 있다.

결국 DDPM은 느리지만 고품질의 이미지 생성을 위해 이런 점진적이고 반복적인 복원 방식을 택한 것이다.

 

학습 시에는 모델이 ‘이 이미지에 섞인 전체 노이즈는 이거야’라고 예측하도록 학습시키고,
인퍼런스 시에는 ‘이 이미지에 섞인 전체 노이즈는 이건데, 이걸 기준으로 한 스텝만큼의 노이즈를 제거해볼게’라고 사용하는 것이다.

 

✅ Model Architecture

 

DDPM에서 사용하는 모델은 기본적으로 U-Net 기반의 CNN이다. 이는 encoder-decoder 구조를 기반으로 하며, 입력 이미지의 정보를 점진적으로 추출했다가 다시 복원하는 방식으로 구성되어 있다. U-Net은 skip connection을 통해 중간 feature를 유지함으로써, 이미지 세부 정보를 보존하며 복원이 가능하게 해준다.

 

여기에 시간 정보를 처리하기 위한 별도의 구성 요소가 있다. timestep t는 수치값으로 입력되기 때문에, 먼저 sin/cos 기반의 positional embedding으로 변환되고, MLP를 거쳐 고차원 벡터로 확장된다. 이 임베딩은 네트워크의 각 레이어에 주입되며, 일반적으로 residual block 내부에서 scale & shift 형태로 normalization 뒤에 적용되거나, feature map에 직접 더해지는 방식으로 작동한다. 이를 통해 모델은 현재 시점이 어느 단계(timestep)인지를 고려하면서 노이즈 제거를 수행할 수 있다.

 

또한 U-Net 구조에는 중간 해상도에서 self-attention 모듈이 삽입되기도 하며, 이는 전역적인 이미지 영역 간의 관계를 모델이 학습할 수 있도록 도와준다. 이러한 구조 덕분에 DDPM은 각 시간 스텝에서의 입력 노이즈를 잘 이해하고, 점진적으로 이미지를 복원해 나가는 데 효과적인 구조를 갖춘다. Stable Diffusion, Imagen, DALL·E 3 등 최근 디퓨전 모델들도 이 구조를 기반으로 다양한 변형과 조건부 요소(Cross-Attention, Text Encoder 등)를 더해 발전하고 있다.

 

3. 확장과 응용: DDPM 이후의 발전 방향

DDPM은 디퓨전 모델의 기본 구조를 제시한 이후, 다양한 방향으로 발전하고 있다. 가장 먼저 주목받은 개선점은 샘플링 속도다. DDPM은 최대 1,000번의 스텝을 거쳐 이미지를 생성하기 때문에 느릴 수밖에 없었고, 이를 해결하기 위한 여러 가속화 기법들이 제안되었다. 대표적으로 DDIM(Denoising Diffusion Implicit Models)은 마르코프 체인을 비결정적(deterministic) 방식으로 바꾸어 훨씬 적은 스텝에서도 고품질 이미지를 생성할 수 있도록 했다. 이후 PNDM, FastDPM, 그리고 최근에는 Consistency Model 등 수십 스텝 내외로도 안정적인 샘플링이 가능한 모델들이 등장하고 있다.

 

또 하나의 중요한 발전 방향은 조건부 생성(Conditional Generation)이다. 텍스트를 조건으로 이미지 생성이 가능한 텍스트-투-이미지(text-to-image) 모델이 대표적이며, Classifier-Free Guidance 기법이 표준처럼 사용된다. Stable Diffusion, DALL·E 2, Imagen, Kandinsky 등의 모델은 이러한 기술을 활용해 텍스트를 이해하고 그에 맞는 이미지를 매우 정교하게 생성한다. 최근에는 이 조건부 생성을 넘어, 스타일 전이나 세분화된 조작까지 가능한 컨트롤 가능한 생성(controlled generation)으로 확장되고 있다.

 

응용 분야는 단순한 이미지 생성에서 크게 확장되었다. 이미지 편집(inpainting, outpainting), 해상도 복원(super-resolution), 스타일 변환(style transfer), 구조 기반 생성(layout-to-image) 등 다양한 이미지 조작에 디퓨전 모델이 적용되고 있다. 또한 2024년부터는 사전학습된 2D diffusion 모델을 기반으로 3D 모델을 생성하려는 시도들이 본격화되었다. DreamFusion, Score Jacobian Chaining(SJC), Zero-1-to-3 등의 연구는 텍스트 또는 단일 이미지로부터 3D 볼륨(예: 밀도 필드)을 생성하고, 여기에 Marching Cubes 같은 기법을 적용해 3D mesh를 추출하는 방식으로 발전하고 있다.

 

2025년 들어서는 이미지 중심에서 멀티모달 생성(multimodal generation)으로 확장이 빠르게 진행되고 있다. 최근에는 오디오-비디오 디퓨전 모델이 주목받고 있으며, 'Dimitra'나 'DiffListener'처럼 음성에서 자연스러운 얼굴 움직임을 생성하거나, 대화 맥락에 따른 리액션 생성까지 수행할 수 있는 연구들이 활발하다. 텍스트, 이미지, 음성, 영상 데이터를 통합해 다중 입력과 출력을 처리하는 멀티모달 디퓨전 모델도 점점 증가하고 있다.