Stable Diffusion: 이미지 생성 AI 이해하기

 
AI를 활용한 이미지 생성 기술은 단순한 픽셀 단위의 변형을 넘어, 고유한 예술적 창의성을 담아내는 단계에 이르렀다. AI는 이제 텍스트와 같은 간단한 조건에서부터 복잡한 이미지 디테일까지, 사용자 요구에 맞춰 고해상도 이미지를 생성할 수 있게 되었다. 이러한 흐름의 선두에 있는 기술 중 하나가 Stable Diffusion이다. 이 모델은 기존의 이미지 생성 모델들이 겪던 한계를 해결하며, 다양한 조건에서도 효율적으로 이미지를 생성할 수 있도록 설계되었다. Stable Diffusion의 구조와 학습 방식을 이해하면 이미지 생성 AI가 어떻게 발전해왔고, 어떤 방식으로 더 창의적인 결과물을 만들어내는지 알 수 있다.
 

Diffusion Model ?

• Diffusion model은 데이터에 점진적으로 노이즈를 추가하여 단계적으로 순수한 노이즈 상태로 만드는 과정을 기반으로 함
• 이후 모델은 이 과정을 역으로 수행하여 데이터에서 노이즈를 제거하면서 새로운 샘플을 생성
• 학습 과정
  • 모델은 노이즈가 추가된 데이터에서 원래 데이터를 예측하는 방법을 학습
  • 이 과정에는 순방향 프로세스(노이즈 추가)와 역방향 프로세스(노이즈 제거)가 포함됨
  • 학습 목표는 예측된 깨끗한 데이터와 실제 데이터 간의 차이를 최소화하는 것
• Diffusion model에서 사용되는 아키텍처는 일반적으로 Denoising Autoencoder 또는 GAN과 유사하며, 노이즈 제거 프로세스를 모델링하기 위해 neural network를 사용
• 샘플링 시 모델은 노이즈 벡터에서 시작하여 학습된 역 노이즈 제거 단계를 반복적으로 적용하여 일관된 샘플을 생성
• 전통적인 생성 모델(GAN 등)과 비교할 때 고해상도 이미지 생성에서 우수한 성능을 보여줌. 학습 중 안정성이 높고 모드 붕괴(Mode Collapse)에 덜 취약함

---

Stable Diffusion 구조와 특징

Stable Diffusion은 Latent Diffusion Model(LDM)에 기반한 이미지 생성 모델로, 특히 고해상도 이미지 생성에 최적화된 구조를 갖추고 있다. 이 모델은 이미지의 잠재 공간(latent space)에서 학습함으로써 메모리 효율성을 높이고, 보다 정밀한 이미지 생성이 가능하도록 한다.
 

1. Latent Diffusion Model (LDM)

 
Stable Diffusion의 핵심은 Latent Diffusion Model이다. 일반적인 Diffusion Model은 이미지 자체에서 노이즈를 추가하고 제거하는 과정을 통해 학습하지만, Stable Diffusion은 latent space에서 이러한 과정을 수행한다. latent space은 오리지널 이미지 대신 VAE(Variational Autoencoder)를 통해 얻은 저차원의 표현으로, 복잡한 이미지의 주요 특징을 압축하여 표현한 공간이라고 볼 수 있다. Stable Diffusion은 이러한 latent space에서 노이즈를 추가하고 제거하는 방식으로 학습을 진행하며, 이를 통해 메모리 사용량을 크게 줄이면서도 고해상도 이미지 생성을 가능하게 한다.

latent space에서 노이즈를 추가하고 제거하는 방식이 좋은 이유는, 이미지의 고차원 공간에서 직접 작업하는 것보다 메모리와 연산 효율이 크게 향상되기 때문이다. 일반적으로 고해상도 이미지 자체를 처리하려면 많은 메모리가 필요하고 연산량도 증가하지만, latent space에서는 이미지의 주요 정보만 추출된 저차원 표현을 다루기 때문에 메모리 사용량이 줄어든다. 이 덕분에 같은 자원으로도 고해상도 이미지를 생성할 수 있어 더 적은 리소스로 높은 품질의 결과물을 생성할 수 있게 된다.

 

2. U-Net

 
Stable Diffusion은 노이즈 제거를 위한 핵심 모델로 U-Net 구조를 사용한다. U-Net은 Encoder-Decoder 구조를 활용해 이미지의 중요한 정보를 보존하면서 점진적으로 노이즈를 제거하는 데 뛰어난 성능을 보인다. U-Net의 Encoder는 입력 이미지에서 중요한 특징을 추출하고, Decoder는 이를 통해 원래 이미지와 유사한 결과를 생성한다. Stable Diffusion에서는 여기에 텍스트 조건이 추가되어, 특정 텍스트 조건에 맞는 이미지를 생성할 수 있도록 U-Net이 튜닝된다.
 

3. 텍스트 조건부 생성

Stable Diffusion은 텍스트 조건부 모델로, 특정 문구나 설명에 맞춰 이미지를 생성할 수 있다. 이를 위해 OpenAI의 CLIP(Contrastive Language-Image Pre-training) 모델을 사용하여 텍스트와 이미지 간의 연관성을 학습한다. CLIP 모델은 텍스트 임베딩을 생성해 U-Net 모델의 입력으로 제공하며, 이를 통해 텍스트의 의미에 맞는 이미지가 생성되도록 조건을 부여한다. 예를 들어, "푸른 바다 위의 노을"이라는 텍스트 조건을 입력하면 Stable Diffusion은 이에 맞는 이미지를 생성해낸다.
 

4. 노이즈 스케줄링과 학습 과정

 
Stable Diffusion의 학습 과정은 노이즈를 점진적으로 제거해가며 원본 이미지에 가까운 이미지를 만들어가는 방식으로 진행된다. 초기에는 랜덤한 노이즈가 포함된 이미지에서 시작해, 매 단계마다 조금씩 노이즈를 제거하여 최종적으로 텍스트 조건에 부합하는 이미지를 생성한다. 이를 위해 beta schedule을 사용하여 노이즈 제거의 비율을 조정하며, 이 과정에서 다양한 노이즈 수준을 경험한 모델이 학습하게 된다.
 
Beta schedule은 노이즈를 추가하거나 제거하는 강도를 단계적으로 조정하는 노이즈 제어 스케줄이다. Stable Diffusion에서는 각 학습 단계마다 이미지를 조금씩 원본에 가까운 형태로 복원하기 위해 노이즈를 점진적으로 줄여가는데, beta schedule은 이 과정에서 노이즈의 강도를 조절하는 역할을 한다.
 
초기에는 비교적 큰 노이즈를 추가하고 제거하여 대략적인 이미지 형태를 잡고, 이후 단계로 갈수록 노이즈 비율을 줄여서 세부 디테일을 복원하는 방식이다. beta schedule이 적용되면 모델은 다양한 노이즈 레벨을 경험하며 점차 세밀한 표현을 학습할 수 있게 되므로, 최종적으로 고품질의 이미지를 생성할 수 있게 된다.

 

Stable Diffusion의 장점

Stable Diffusion의 장점은 특히 메모리 효율성과 고해상도 이미지 생성 능력에서 두드러진다. 기존 이미지 생성 모델들은 고해상도 이미지를 생성할 때 많은 메모리를 필요로 했으나, Stable Diffusion은 잠재 공간에서 작업하여 메모리 사용량을 줄이면서도 성능을 유지할 수 있다. 이 덕분에 Stable Diffusion은 그래픽 카드와 같은 범용 하드웨어에서도 고해상도 이미지를 생성하는 데 유리하다.

 

또한, Stable Diffusion은 다양한 텍스트 조건을 자유롭게 적용할 수 있어, 아티스트나 디자이너들이 원하는 스타일이나 특정 주제에 맞춘 이미지를 손쉽게 생성할 수 있도록 돕는다. 이로 인해 상업적인 아트 생성, 광고, 웹툰, 게임 디자인 등 다양한 분야에서 이미지 생성의 효율성을 높이는 데 활용된다.

 

Stable Diffusion은 Stability AI가 2022년에 처음 공개한 이후로 SD1.x, SD2.x, SDXL 등 여러 버전이 출시되며 지속적으로 발전해왔다. 2024년 현재에도 고해상도 이미지 생성과 메모리 효율성 면에서 중요한 장점으로 평가되며, 범용 하드웨어에서도 효율적으로 작동하는 이미지 생성 모델로 자리 잡고 있다.

 

---

Stable Diffusion 버전별 설명

Stable Diffusion은 Stability AI가 2022년에 처음 발표한 이후, 여러 버전이 출시되며 지속적으로 발전해왔다. 각 버전은 성능과 기능 면에서 중요한 향상을 이루었으며, 현재는 최신 버전인 SDXL까지 도달해 있다. 각 버전의 주요 특징은 다음과 같다.

 

1. Stable Diffusion 1.x 

• 공개 시기: 2022년 8월에 Stable Diffusion 1.4가 공개됨.
• 주요 특징
  • 초기 버전인 1.4는 오픈소스로 제공되었으며, 누구나 모델을 활용하고, 파인튜닝하거나 맞춤형 모델을 개발할 수 있는 자유를 제공함.
  • Variational Autoencoder (VAE) 구조를 활용해 이미지 자체가 아닌 latent space에서 노이즈를 추가 및 제거하며 작업해, 고해상도 이미지를 메모리 효율적으로 생성할 수 있는 방식을 도입.
  • 2022년 12월, Stable Diffusion 1.5가 출시되며 모델 성능과 이미지 품질이 개선됨.
  • 파라미터 수: 약 9억개
• 유의 사항
  
  • 1.x 시리즈는 처음으로 고해상도 이미지 생성의 기초를 확립했지만, 텍스트와 이미지 매핑 정확도가 다소 제한적이며, 특정 텍스트 조건에서 원하는 이미지 생성이 어려운 경우가 있을 수 있음.

 

2. Stable Diffusion 2.x 

• 공개 시기: Stable Diffusion 2.0은 2022년 11월 말, 2.1은 같은 해 12월에 공개됨.
• 주요 특징
  • 모델 아키텍처 및 학습 과정이 업그레이드되어 512x512 및 768x768 해상도에서의 이미지 생성을 기본으로 지원하며, 이미지의 품질과 디테일이 개선됨.
  • 새로운 텍스트 인코더로 OpenCLIP을 도입해 텍스트-이미지 매핑 성능을 크게 개선함. 이로 인해 텍스트 조건에 맞는 보다 정확한 이미지 표현이 가능해짐.
  • 2.x 버전에서는 노이즈 주입 방식이 더욱 정교해져 다양한 스타일 및 고품질 이미지 생성을 지원함.
    • Noise Injection Process
      • 각 단계에서 노이즈를 추가하는 방식이 개선
      • 초기 단계에서는 더 높은 노이즈를 주입하여 모델이 이미지의 전반적인 구조를 학습할 수 있도록 하고,
      • 후반 단계에서는 노이즈를 줄여가며 세부 사항을 더 정확하게 생성
      • 이 과정은 시간에 따라 노이즈를 점진적으로 줄여가며 최종 이미지를 생성하는 방식이다.
    • Beta Schedule
      • Beta schedule은 시간에 따라 노이즈 수준이 어떻게 변화하는지를 정의하는 파라미터로, 이는 노이즈 주입의 속도와 양을 조절하는 데 중요한 역할을 수행
      • 이 스케줄을 통해 각 스텝에서 사용되는 노이즈의 양을 동적으로 조정하여 모델이 더 다양한 노이즈 수준을 경험하게 하고, 결과적으로 더 높은 품질의 이미지를 생성할 수 있게 함
    • Adaptive Noise Scaling
      • adaptive noise levels을 지원하여, 각 스텝에서 노이즈의 양을 유연하게 조절할 수 있음
      • 이는 사용자가 특정 생성 과정에 맞춰 노이즈를 세밀하게 조정할 수 있게 하여, 다양한 스타일과 품질의 이미지를 생성하는 데 도움을 줌
  • 파라미터 수: 약 9억 개
• 유의 사항
  
  • OpenCLIP 도입으로 향상된 텍스트-이미지 매핑 성능 덕분에, 텍스트의 세부 조건에 따른 이미지의 정확성이 개선되었으나, 메모리 요구량이 증가했기 때문에 개발 환경에 따른 조정이 필요함.

 

3. Stable Diffusion XL (SDXL) 

 

• 공개 시기: 2023년 중반에 SDXL 모델이 발표되며, 이후 2024년 초까지 성능 개선 업데이트가 지속됨.
• 주요 특징
  • 기존 버전 대비 아주 큰 모델 용량을 가지고 있으며, 1024x1024 이상의 고해상도 이미지를 생성할 수 있음.
  • 3배 더 큰 U-Net 모델 사용 (주로 attention block의 증가)
  • 다양한 종횡비로 학습되어 다양한 크기와 비율에 맞는 이미지를 생성할 수 있음
  • Conditioning schemes
    • 이미지 생성을 위한 조건부 정보의 활용을 극대화하여 모델의 유연성을 높이고 다양한 스타일과 특성을 가진 이미지를 생성할 수 있게 함
    • Conditioning Techniques: 기존 Stable Diffusion 모델에서 사용되던 단일한 conditioning 방법에서 벗어나, 여러 가지 새로운 기법을 통합하여 텍스트 프롬프트와 이미지를 더욱 효과적으로 연결할 수 있도록 설계됨. 이러한 방법들은 생성할 이미지의 특성을 보다 명확히 정의하고, 다양한 요구사항에 맞춘 출력 결과를 생성하는 데 기여함.
    • Text-Image Alignment: 텍스트와 이미지 간의 정렬을 개선하여, 입력된 텍스트 프롬프트의 의미를 더 잘 반영한 이미지를 생성할 수 있게 함. 이는 모델이 더 복잡한 텍스트 입력을 처리하고, 세부 사항이 잘 반영된 이미지를 만들 수 있게 개선.
    • Adaptive Conditioning: 새로운 conditioning 방법은 모델이 입력된 조건에 따라 더 적절하게 조정되도록 개선. 예를 들어, 사용자 요구에 따라 특정 스타일이나 주제를 강조할 수 있으며, 이는 사용자 맞춤형 이미지를 생성하는 데 매우 유용
    • 결과적으로, 이러한 새로운 conditioning schemes는 SDXL의 이미지 생성 능력을 한층 더 발전시켜, 사용자에게 원하는 이미지를 보다 정확하게 생성할 수 있는 능력을 제공합니다.
  • Refinement model 적용
    • SDXL에서 생성된 latent representations을 정교하게 다듬기 위해 noising-denoising process를 활용. 이 모델은 초기 생성된 이미지를 더욱 향상시키는 기능을 수행
    • 기존의 latent representation에 노이즈를 주입한 후, 이를 제거하는 denoising 과정을 통해 이미지를 개선. 이 과정에서 모델은 더 섬세한 세부사항과 구조를 복원할 수 있어 최종 생성물의 품질이 향상됨
    • Refinement model은 대규모 데이터셋에서 학습한 패턴과 구조를 활용하여, 초기 생성된 이미지를 기반으로 다양한 패턴을 인식함
    • 특정 상황이나 요구사항에 맞춰 이미지를 조정할 수 있는 유연성을 제공함. 예를 들어, 사용자가 원하는 특정 스타일이나 세부사항을 강조할 수 있어, 맞춤형 이미지를 생성하는 데 용이합니다.
    • 이전 단계에서 이미 높은 품질의 latent representation을 생성하는 데 필요한 특성을 학습하기 때문에, 기존에 생성된 이미지를 기반으로 추가적인 감독 없이도 품질을 개선할 수 있는 능력을 갖추게 됨
    • Refinement model은 전체 학습 과정에서 latent diffusion model과 함께 학습되며, 이미지 생성 시에도 자동으로 작동하여 생성된 이미지를 정교하게 수정. 이를 통해 최종 사용자에게 높은 품질의 이미지를 제공함.

• 텍스트의 의미를 더 깊게 이해하고 반영할 수 있는 모델로, 이미지의 디테일과 세밀한 표현력이 크게 향상됨.
• SDXL은 특히 세부 설정 옵션을 다수 추가해, 아티스트 및 디자이너가 보다 세밀한 컨트롤을 통해 원하는 이미지 스타일을 얻을 수 있도록 지원.
• 파라미터 수: 약 20억 개 이상