
[pytorch] Multi-GPU Training | ๋ค์ค GPU ํ์ต ์์| Distributed Data Parallel (DDP) | Data Parallel (DP)
ยท
๐ป Programming/AI & ML
Multi-GPU Training Multi-GPU Training (๋ค์ค GPU ํ์ต)์ ์ฌ๋ฌ ๊ฐ์ GPU๋ฅผ ์ฌ์ฉํ์ฌ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ์ตํ๋ ๋ฐฉ๋ฒ์ด๋ค. ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ์ ์ ์ปค์ง๊ณ ๋ฐ์ดํฐ์
์ ํฌ๊ธฐ ๋ํ ๋ฐฉ๋ํ๊ธฐ ๋๋ฌธ์ ๋ค์ค GPU๋ฅผ ์ฌ์ฉํ์ฌ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ์ตํ๋ ๊ฒ์ ์ฌ์ค์ ํ์์ ์ธ ๊ธฐ์ ์ด๋ผ ๋ณผ ์ ์๋ค. Pytorch์์๋ multi-gpu ํ์ต์ ์ํ ๋ช ๊ฐ์ง ๋ฐฉ๋ฒ์ ์ ๊ณตํ๋ค. Data Prarallel (DP) # DataParallel ๋ชจ๋๋ก ๋ชจ๋ธ ๊ฐ์ธ๊ธฐ model = nn.DataParallel(model) torch.nn.DataParallel ๋ชจ๋์ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ผ๋ก, ๊ต์ฅํ ๊ฐ๋จํ๊ฒ ๋์ํ์ง๋ง ๋ช ๊ฐ์ง ์น๋ช
์ ์ธ ๋จ์ ์ด ์กด์ฌํ๋ ๋ฐฉ๋ฒ์ด๋ค. ์ฅ์ ์์ฃผ ๊ฐ๋จํ๋ค (๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํด๋น ํจ์๋ก ๊ฐ..