자연어처리(NLP) 분야에서 텍스트 임베딩(Text Embedding)이란, 문장이나 문서를 컴퓨터가 이해할 수 있도록 고차원의 벡터로 변환하는 작업을 말한다. 이 벡터는 단어 간, 문장 간의 의미적 유사성을 수치적으로 표현할 수 있도록 도와준다.텍스트 임베딩은 다음과 같은 작업에서 핵심 역할을 한다.문장 유사도 분석의미 기반 검색 (semantic search)텍스트 분류 및 군집화추천 시스템질문-응답(QA) 매칭정보 검색 (Retrieval-Augmented Generation 등)임베딩 벡터가 잘 만들어졌다는 것은, 예를 들어 "나는 영화를 좋아한다"와 "영화 보는 걸 즐긴다" 같은 문장이 서로 가까운 위치의 벡터로 표현된다는 뜻이다. 이처럼 유사한 의미의 문장이 가까이 위치하면 검색, 분류, 추천..

PySpark는 대용량 데이터를 다룰 때 효과적인 분산 처리 프레임워크이다. 이 글에서는 JSON 데이터 처리와 관련된 PySpark의 자주 쓰는 기능과 메서드를 중심으로 실무에서 어떻게 활용할 수 있는지 정리한다.PySpark는 왜 SQL이 아닌 함수형 처리 방식으로 사용하나?PySpark에서는 SQL처럼 한 줄로 복잡한 쿼리를 작성하는 대신, 테이블을 불러와 단계적으로 처리하는 방식이 일반적이다. 이런 방식은...복잡한 로직을 분리해서 디버깅이 용이하다.컬럼 단위 조작이 자유롭고, 재사용성이 높다.중간 단계의 데이터를 쉽게 확인하고 튜닝할 수 있다.와 같은 장점이 있다고 한다.따라서 실무에서는 SQL 쿼리 하나로 모든 작업을 끝내기보다는, 아래와 같이 단계별 처리 방식으로 작성하는 코드 스타일이 더 ..

생성 모델에서 Diffusion 모델은 고해상도 이미지를 생성하는 핵심 기술로 주목받고 있는데, 이 모델은 노이즈를 점점 제거해가며 이미지를 생성한다는 개념으로, Stable Diffusion, DALL·E 2 등 다양한 모델의 기반이 되고 있다. 이 글에서는 Diffusion Model의 개념부터 가장 기본이 되는 DDPM(Denoising Diffusion Probabilistic Model)의 학습 및 생성 과정에 초점을 맞추어 설명한다. 수식보다는 개념적 설명에 집중했다.1. Diffusion Model이란?디퓨전 모델은 데이터에 점점 가우시안 노이즈를 추가해 완전히 무작위한 상태로 만든 뒤, 그 반대 과정을 통해 노이즈에서 원본 이미지를 복원하는 방식이다. 이 과정을 두 단계로 나눌 수 있다. ..

3D 스캔, CT 이미지, Neural Radiance Field(NeRF), Signed Distance Function(SDF) 등에서 사용되는 3D 데이터는 대부분 density field 혹은 scalar field로 표현된다. 이러한 volumetric data는 각 3차원 좌표에 어떤 값(예: 밀도, 거리 등)이 할당된 형태일 뿐이며, 겉보기에는 단순한 숫자들의 집합에 불과하다. 하지만 우리가 3D 데이터를 직관적으로 이해하고 시각화하기 위해서는, 이 값들의 분포를 기반으로 어디가 물체이고 어디가 배경인지, 즉 surface가 어디에 존재하는지를 알아야 한다. 이처럼 연속적인 값의 필드에서 의미 있는 3D mesh을 추출하는 작업이 필요하며, 이때 널리 사용되는 대표적인 알고리즘이 바로 Mar..

1. 연구 주제와 주요 기여DreamFusion은 2D text-to-image diffusion model을 활용해 3D 객체를 생성하는 text-to-3D 합성 방법을 제안한다. ✅ 주요 기여3D 데이터나 3D 학습이 전혀 없이, 2D diffusion model만으로 3D 장면을 생성하는 end-to-end pipeline을 구축Score Distillation Sampling (SDS)이라는 새로운 최적화 기반 샘플링 기법을 고안하여, pretrained 이미지 diffusion model을 3D 학습의 loss로 활용NeRF를 기반으로 3D 볼륨을 파라미터화하여, 다양한 각도에서 일관된 이미지를 생성 가능하게 함 2. 연구 배경 및 관련 연구 동향✅ Text-to-Image Synthesis최근..

1. 연구 주제와 주요 기여 Zero-1-to-3는 단 하나의 RGB 이미지로부터 새로운 카메라 시점에서의 이미지를 생성하고, 나아가 3D 복원까지 수행할 수 있는 zero-shot 프레임워크이다. 기존에는 멀티 뷰 또는 3D 정보가 필요했던 문제를, Stable Diffusion과 같은 대규모 사전학습 모델을 활용해 제약 없이 학습하지 않은 데이터에서도 일반화 성능을 확보한다는 점이 주요 차별점이다. ✅ 주요 기여Stable Diffusion을 활용하여 camera viewpoint control이 가능한 조건부 image-to-image 변환 학습Zero-shot 3D reconstruction을 위한 viewpoint-conditioned diffusion 모델 제안Objaverse 기반 학습 후에..