딥러닝 모델이 점점 커지고 데이터도 방대해지면서, 단일 GPU나 서버만으로는 학습 속도가 너무 느리거나 GPU 메모리가 부족해 학습이 불가능해진다. 이를 해결하기 위해 여러 GPU를 동시에 활용해 모델을 학습시키는 것이 바로 분산 학습이다.1. 분산 학습 종류1.1 데이터 병렬화(Data Parallelism)[전체 데이터] → [분할된 미니배치1] → GPU0 (모델 복제) → [분할된 미니배치2] → GPU1 (모델 복제) → [분할된 미니배치3] → GPU2 (모델 복제)[각 GPU] → forward & backward → all-reduce → 동기화 → 파라미터 업데이트 가장 보편적으로 사용되는 방식이다. 동일한 모델을 여러 GPU에 복제하고, 미니배치 ..

생성 모델에서 Diffusion은 고해상도 이미지를 만들어내는 핵심 기술로 자리 잡았지만, DDPM처럼 픽셀 공간에서 직접 노이즈를 다루는 방식에는 치명적인 단점이 있었다. 바로 연산과 메모리 효율이다. [Gen AI] Diffusion Model과 DDPM 개념 설명생성 모델에서 Diffusion 모델은 고해상도 이미지를 생성하는 핵심 기술로 주목받고 있는데, 이 모델은 노이즈를 점점 제거해가며 이미지를 생성한다는 개념으로, Stable Diffusion, DALL·E 2 등 다양한mvje.tistory.com 예를 들어, 256×256 해상도의 이미지를 직접 디퓨전(픽셀 단위로 노이즈를 넣고 제거)하려면, 수백 MB에 달하는 feature를 반복적으로 처리해야 한다. 고해상도일수록 이 부담은 기하..

머신러닝 관련 공부를 하다보면 행렬에 관한 이야기가 참 많이 나오죠. 정말 지긋지긋한데 그렇다고 또 늘 완벽히 이해하지는 못하는 분야이기도 해요...ㅠ 오늘은 생각난 김에 행렬 분해에 대한 내용을 정리해 보려 합니다. 행렬 분해(Matrix Factorization)는 하나의 행렬을 더 작은 행렬들의 곱으로 분해해 표현하는 방법입니다. 이러한 행렬 분해를 사용하면, 데이터의 크기를 줄이면서도 중요한 정보를 보존할 수 있어요. 데이터를 단순히 압축하는 데 그치지 않고, 그 안에 숨겨진 패턴이나 관계를 찾아내는 데도 정말 유용하답니다. 예를 들어, 추천 시스템에서 사용자와 아이템 간의 선호도를 나타내는 대규모 행렬이 있을 때, 이를 분해하면 각 사용자와 아이템의 잠재적인 특징을 발견할 수 있어요. 이렇게 발..

Designing Machine Learning Systems (머신러닝 시스템 설계) 대학원에서 경험하는 딥러닝 모델 개발은 실무적인 부분보다는 아무래도 학술적인 부분에 초점이 맞춰져 있다. 지금은 직장에서 딥러닝 모델을 개발하며 여러 실무적인 경험을 하고 있지만, 조금 더 근원적인 공부를 해보면 좋지 않을까라는 생각에 칩 후옌의 "Designing Machine Learning Systems (머신러닝 시스템 설계)"라는 책을 구매했다. 딥러닝 분야의 경우 최근 몇 년간의 발전이 많았기 때문에 관련 서적을 구매할 때 초판 발행일을 보게 되는데, 이 책은 초판 1쇄 발행이 2023년 3월이라 굉장히 최근의 책이다. 저자 - 칩 후옌 칩 후옌은 클레이폿 AI의 공동 창립자이자 CEO이며 엔비디아, 스노클..

안녕하세요! AI & Computer Vision Engineer 뭅즤입니다 👋 본 포스팅은 YOLOv5를 커스텀 데이터셋으로 학습 및 테스트해 보는 예제 코드를 설명하는 글인데요.처음 글을 작성했을 때보다 훨씬 더 쉽게 실습할 수 있도록 수정했으니, 참고 부탁드려요! 🤗📌 Object Detection  Object Detection(객체 검출)은 이미지나 동영상 속에 있는 여러 객체의 유형과 위치를 알아내는 기술이에요. 이 기술 덕분에 자율주행 자동차가 주변의 사람이나 차량을 인식하고, 보안 카메라가 의심스러운 물체를 감지하거나, 스마트폰 카메라가 사진 속의 특정 물체에 초점을 맞출 수 있는 거라고 볼 수 있죠! 객체 검출하면 많은 분들이 떠올리는 대표적인 모델이 바로 YOLO 모델일 거예요. ..