생성 모델에서 Diffusion 모델은 고해상도 이미지를 생성하는 핵심 기술로 주목받고 있는데, 이 모델은 노이즈를 점점 제거해가며 이미지를 생성한다는 개념으로, Stable Diffusion, DALL·E 2 등 다양한 모델의 기반이 되고 있다. 이 글에서는 Diffusion Model의 개념부터 가장 기본이 되는 DDPM(Denoising Diffusion Probabilistic Model)의 학습 및 생성 과정에 초점을 맞추어 설명한다. 수식보다는 개념적 설명에 집중했다.1. Diffusion Model이란?디퓨전 모델은 데이터에 점점 가우시안 노이즈를 추가해 완전히 무작위한 상태로 만든 뒤, 그 반대 과정을 통해 노이즈에서 원본 이미지를 복원하는 방식이다. 이 과정을 두 단계로 나눌 수 있다. ..

3D 스캔, CT 이미지, Neural Radiance Field(NeRF), Signed Distance Function(SDF) 등에서 사용되는 3D 데이터는 대부분 density field 혹은 scalar field로 표현된다. 이러한 volumetric data는 각 3차원 좌표에 어떤 값(예: 밀도, 거리 등)이 할당된 형태일 뿐이며, 겉보기에는 단순한 숫자들의 집합에 불과하다. 하지만 우리가 3D 데이터를 직관적으로 이해하고 시각화하기 위해서는, 이 값들의 분포를 기반으로 어디가 물체이고 어디가 배경인지, 즉 surface가 어디에 존재하는지를 알아야 한다. 이처럼 연속적인 값의 필드에서 의미 있는 3D mesh을 추출하는 작업이 필요하며, 이때 널리 사용되는 대표적인 알고리즘이 바로 Mar..

1. 연구 주제와 주요 기여DreamFusion은 2D text-to-image diffusion model을 활용해 3D 객체를 생성하는 text-to-3D 합성 방법을 제안한다. ✅ 주요 기여3D 데이터나 3D 학습이 전혀 없이, 2D diffusion model만으로 3D 장면을 생성하는 end-to-end pipeline을 구축Score Distillation Sampling (SDS)이라는 새로운 최적화 기반 샘플링 기법을 고안하여, pretrained 이미지 diffusion model을 3D 학습의 loss로 활용NeRF를 기반으로 3D 볼륨을 파라미터화하여, 다양한 각도에서 일관된 이미지를 생성 가능하게 함 2. 연구 배경 및 관련 연구 동향✅ Text-to-Image Synthesis최근..

1. 연구 주제와 주요 기여 Zero-1-to-3는 단 하나의 RGB 이미지로부터 새로운 카메라 시점에서의 이미지를 생성하고, 나아가 3D 복원까지 수행할 수 있는 zero-shot 프레임워크이다. 기존에는 멀티 뷰 또는 3D 정보가 필요했던 문제를, Stable Diffusion과 같은 대규모 사전학습 모델을 활용해 제약 없이 학습하지 않은 데이터에서도 일반화 성능을 확보한다는 점이 주요 차별점이다. ✅ 주요 기여Stable Diffusion을 활용하여 camera viewpoint control이 가능한 조건부 image-to-image 변환 학습Zero-shot 3D reconstruction을 위한 viewpoint-conditioned diffusion 모델 제안Objaverse 기반 학습 후에..

3D 데이터를 표현하는 대표적인 방법인 포인트 클라우드(Point Cloud)와 메시(Mesh)에 대해 조금 더 깊게 알아보자!📌 Point Cloud vs. Mesh 비교특징Point CloudMesh기본 개념3D 공간에 존재하는 점들의 집합점을 삼각형으로 연결한 표면 구조구성 요소정점(Vertex)만 존재 (x, y, z, RGB 등)정점(Vertex) + 면(Face)데이터 크기상대적으로 가벼움구조가 복잡해 무거울 수 있음시각적 표현점만 존재하므로 비어 보일 수 있음면(Face)로 이루어져 표면이 명확활용 분야LiDAR, SfM, 3D 스캐닝, 자율주행렌더링, AR/VR, 3D 프린팅, 게임파일 포맷PCD, PLY, LAS, XYZ 등OBJ, STL, FBX, PLY 등Point Cloud는 3D..

Computer Vision 업무를 하다보면 3D 데이터도 자주 다루게 된다. 현실 세계를 디지털 공간에 재현하려면 3D 데이터를 저장하고 활용하는 방식에 대한 이해가 필수적이다. 최근에는 자율주행, 로보틱스, AR/VR, 3D 재구성, 의료 등 다양한 분야에서 3D 데이터가 활용되고 있다. 3D 데이터는 저장 방식에 따라 Mesh, Point Cloud, Voxel 등으로 나눌 수 있고, 각 데이터 구조를 저장하기 위해 PLY, PCD, OBJ 같은 다양한 파일 포맷이 존재한다. 각각의 포맷은 특정한 용도와 장점이 있기 때문에, 프로젝트의 목표에 따라 적절한 데이터를 선택하는 것이 중요하다. 이 글에서는 3D 데이터의 주요 구조와 포맷을 정리해 보고자 한다.📌 3D 데이터 구조1. Mesh📍 특징3..

생성 모델에서 Diffusion 모델은 고해상도 이미지를 생성하는 핵심 기술로 주목받고 있는데, 이 모델은 노이즈를 점점 제거해가며 이미지를 생성한다는 개념으로, Stable Diffusion, DALL·E 2 등 다양한 모델의 기반이 되고 있다. 이 글에서는 Diffusion Model의 개념부터 가장 기본이 되는 DDPM(Denoising Diffusion Probabilistic Model)의 학습 및 생성 과정에 초점을 맞추어 설명한다. 수식보다는 개념적 설명에 집중했다.1. Diffusion Model이란?디퓨전 모델은 데이터에 점점 가우시안 노이즈를 추가해 완전히 무작위한 상태로 만든 뒤, 그 반대 과정을 통해 노이즈에서 원본 이미지를 복원하는 방식이다. 이 과정을 두 단계로 나눌 수 있다. ..

3D 스캔, CT 이미지, Neural Radiance Field(NeRF), Signed Distance Function(SDF) 등에서 사용되는 3D 데이터는 대부분 density field 혹은 scalar field로 표현된다. 이러한 volumetric data는 각 3차원 좌표에 어떤 값(예: 밀도, 거리 등)이 할당된 형태일 뿐이며, 겉보기에는 단순한 숫자들의 집합에 불과하다. 하지만 우리가 3D 데이터를 직관적으로 이해하고 시각화하기 위해서는, 이 값들의 분포를 기반으로 어디가 물체이고 어디가 배경인지, 즉 surface가 어디에 존재하는지를 알아야 한다. 이처럼 연속적인 값의 필드에서 의미 있는 3D mesh을 추출하는 작업이 필요하며, 이때 널리 사용되는 대표적인 알고리즘이 바로 Mar..

1. 연구 주제와 주요 기여DreamFusion은 2D text-to-image diffusion model을 활용해 3D 객체를 생성하는 text-to-3D 합성 방법을 제안한다. ✅ 주요 기여3D 데이터나 3D 학습이 전혀 없이, 2D diffusion model만으로 3D 장면을 생성하는 end-to-end pipeline을 구축Score Distillation Sampling (SDS)이라는 새로운 최적화 기반 샘플링 기법을 고안하여, pretrained 이미지 diffusion model을 3D 학습의 loss로 활용NeRF를 기반으로 3D 볼륨을 파라미터화하여, 다양한 각도에서 일관된 이미지를 생성 가능하게 함 2. 연구 배경 및 관련 연구 동향✅ Text-to-Image Synthesis최근..

1. 연구 주제와 주요 기여 Zero-1-to-3는 단 하나의 RGB 이미지로부터 새로운 카메라 시점에서의 이미지를 생성하고, 나아가 3D 복원까지 수행할 수 있는 zero-shot 프레임워크이다. 기존에는 멀티 뷰 또는 3D 정보가 필요했던 문제를, Stable Diffusion과 같은 대규모 사전학습 모델을 활용해 제약 없이 학습하지 않은 데이터에서도 일반화 성능을 확보한다는 점이 주요 차별점이다. ✅ 주요 기여Stable Diffusion을 활용하여 camera viewpoint control이 가능한 조건부 image-to-image 변환 학습Zero-shot 3D reconstruction을 위한 viewpoint-conditioned diffusion 모델 제안Objaverse 기반 학습 후에..

3D 데이터를 표현하는 대표적인 방법인 포인트 클라우드(Point Cloud)와 메시(Mesh)에 대해 조금 더 깊게 알아보자!📌 Point Cloud vs. Mesh 비교특징Point CloudMesh기본 개념3D 공간에 존재하는 점들의 집합점을 삼각형으로 연결한 표면 구조구성 요소정점(Vertex)만 존재 (x, y, z, RGB 등)정점(Vertex) + 면(Face)데이터 크기상대적으로 가벼움구조가 복잡해 무거울 수 있음시각적 표현점만 존재하므로 비어 보일 수 있음면(Face)로 이루어져 표면이 명확활용 분야LiDAR, SfM, 3D 스캐닝, 자율주행렌더링, AR/VR, 3D 프린팅, 게임파일 포맷PCD, PLY, LAS, XYZ 등OBJ, STL, FBX, PLY 등Point Cloud는 3D..

Computer Vision 업무를 하다보면 3D 데이터도 자주 다루게 된다. 현실 세계를 디지털 공간에 재현하려면 3D 데이터를 저장하고 활용하는 방식에 대한 이해가 필수적이다. 최근에는 자율주행, 로보틱스, AR/VR, 3D 재구성, 의료 등 다양한 분야에서 3D 데이터가 활용되고 있다. 3D 데이터는 저장 방식에 따라 Mesh, Point Cloud, Voxel 등으로 나눌 수 있고, 각 데이터 구조를 저장하기 위해 PLY, PCD, OBJ 같은 다양한 파일 포맷이 존재한다. 각각의 포맷은 특정한 용도와 장점이 있기 때문에, 프로젝트의 목표에 따라 적절한 데이터를 선택하는 것이 중요하다. 이 글에서는 3D 데이터의 주요 구조와 포맷을 정리해 보고자 한다.📌 3D 데이터 구조1. Mesh📍 특징3..