์ด์ ํฌ์คํ ์์ ์ดํด๋ณธ Faster R-CNN์ด Region Proposal์ GPU์์ ์ฒ๋ฆฌํ๋ฉด์ ์ค์๊ฐ ๊ฐ์ฒด ๊ฒ์ถ์ ๊ฐ๊น์์ก๋ค๋ฉด, YOLO๋ ํ ๊ฑธ์ ๋ ๋์๊ฐ ๊ฐ์ฒด ๊ฒ์ถ์ ์ง์ ํ ์ค์๊ฐ์ผ๋ก ๊ฐ๋ฅํ๊ฒ ๋ง๋ค์์ด์.
์ด๋ฒ ํฌ์คํ ์์๋ YOLO์ ๋ฐ์ ๊ณผ์ ์ ๋ฒ์ ๋ณ๋ก ์ดํด๋ณด๊ณ , ๊ฐ ๋ฒ์ ์ด ์ด๋ค ๋ฐฉ์์ผ๋ก ์๋ํ๋ฉฐ, ์ด๋ค ์ฐจ์ด์ ์ ๊ฐ์ง๊ณ ์๋์ง ์์๋ณด๋ ค๊ณ ํด์ ๐
๐ ๊ฐ์ฒด ๊ฒ์ถ ๋ชจ๋ธ ์ ์ฒด ํฌ์คํ
1. YOLOv1 : ์ด๊ธฐ ๋ชจ๋ธ์ ํ์
YOLO v1์ 2016๋ Joseph Redmon์ ์ํด ์ ์๋ ๋ชจ๋ธ๋ก, ๊ฐ์ฒด ๊ฒ์ถ์ ์ํ ํ์ ์ ์ธ ์ ๊ทผ ๋ฐฉ์์ ๋์ ํ์ด์. YOLO v1์ ์ด๋ฏธ์ง ์ ์ฒด๋ฅผ ํ ๋ฒ์ ๋ฐ๋ผ๋ณด๋ ๋ฐฉ์์ผ๋ก, 1-Stage Object Detection์ ์์์ ์๋ ธ์ด์. ์ด ๋ชจ๋ธ์ ๊ธฐ์กด์ RCNN ๊ณ์ด ๋ชจ๋ธ๋ค๊ณผ๋ ๋ฌ๋ฆฌ, ๊ฐ์ฒด ๊ฒ์ถ๊ณผ ๋ถ๋ฅ๋ฅผ ๋์์ ์ํํด ์๋์ ํจ์จ์ฑ์ ๊ทน๋ํํ์ด์.
์๋ ๋ฐฉ์
- ๊ทธ๋ฆฌ๋ ์์คํ
- YOLO v1์ ์ด๋ฏธ์ง๋ฅผ S x S ํฌ๊ธฐ์ ๊ทธ๋ฆฌ๋๋ก ๋๋์ด์.
- ๊ฐ ๊ทธ๋ฆฌ๋ ์ ์ ๊ทธ ์์ญ ์์ ๊ฐ์ฒด๊ฐ ์๋์ง ํ์ธํ๊ณ , ์๋ค๋ฉด ๊ทธ ๊ฐ์ฒด์ ๋ํ Bounding Box์ Confidence Score๋ฅผ ์์ธกํด์.
- Bounding Box Regression
- ๊ฐ ๊ทธ๋ฆฌ๋ ์ ์ 2๊ฐ์ Bounding Box๋ฅผ ์์ธกํ๊ณ ,
- ๊ฐ ๋ฐ์ค๋ ์์น, ํฌ๊ธฐ, ์ ๋ขฐ๋(๊ฐ์ฒด์ผ ํ๋ฅ )๋ฅผ ํฌํจํด์.
- ํด๋์ค ํ๋ฅ
- ๊ฐ ๊ทธ๋ฆฌ๋ ์ ์ ๊ทธ ์์ญ์ ์กด์ฌํ ์ ์๋ ๊ฐ์ฒด์ ํด๋์ค ํ๋ฅ ๋ ์์ธกํด์.
- ์ด ํด๋์ค ํ๋ฅ ์ ์์ธก๋ Bounding Box์ ๊ณฑํด์ ธ ์ต์ข ์ ์ผ๋ก ํด๋น ๊ฐ์ฒด์ ์ ๋ขฐ๋๋ฅผ ์ฐ์ถํด์.
- End-to-End Training
- YOLO v1์ ์ ์ฒด ๋คํธ์ํฌ๋ฅผ ํ๋์ CNN์ผ๋ก ์ค๊ณํด End-to-End๋ก ํ์ต์ด ๊ฐ๋ฅํด์.
- ์ด๋ ๋ชจ๋ธ์ด ๋ ๋น ๋ฅด๊ณ ํจ์จ์ ์ผ๋ก ํ์ตํ ์ ์๊ฒ ํด์ค๋๋ค.
๋จ์
- ์ ํ๋ ๋ฌธ์ : YOLO v1์ ์์ ๊ฐ์ฒด๋ ๊ทธ๋ฆฌ๋ ๊ฒฝ๊ณ์ ๊ฑธ์ณ ์๋ ๊ฐ์ฒด๋ฅผ ๊ฐ์งํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช์์ด์. ์ด๋ ๋ชจ๋ธ์ด ์๋์ ์ผ๋ก ๋ฎ์ ์ ํ๋๋ฅผ ๊ฐ์ง๊ฒ ๋ง๋ค์์ด์.
- Localization ์ค๋ฅ: YOLO v1์ ๊ฐ์ฒด ์์น๋ฅผ ์์ธกํ๋ ๋ฐ ์์ด์ Localization ์ค๋ฅ๊ฐ ๋ฐ์ํ ์ ์์์ด์. Bounding Box์ ์์น์ ํฌ๊ธฐ๋ฅผ ์ ํํ ์์ธกํ๊ธฐ ์ด๋ ค์ ์ด์.
2. YOLOv2 (YOLO9000): ์๋์ ์ ํ๋์ ๊ท ํ
YOLO v2๋ 2017๋ Joseph Redmon์ ์ํด ๋ฐํ๋์์ด์. ์ด ๋ฒ์ ์ YOLO9000์ด๋ผ๋ ์ด๋ฆ์ผ๋ก๋ ์๋ ค์ ธ ์์ผ๋ฉฐ, YOLO v1์ ํ๊ณ๋ฅผ ๊ฐ์ ํด ์๋์ ์ ํ๋ ์ฌ์ด์ ๊ท ํ์ ๋ง์ถ๋ ค๊ณ ํ์ด์. YOLO v2๋ ๊ธฐ์กด ๋ชจ๋ธ์ ๋น ๋ฅธ ์๋๋ ์ ์งํ๋ฉด์, ๊ฐ์ฒด ๊ฒ์ถ์ ์ ํ๋๋ฅผ ํฌ๊ฒ ํฅ์์์ผฐ์ด์.
์๋ ๋ฐฉ์
- Anchor Boxes ๋์
- YOLO v2๋ Faster R-CNN์์ ์ฌ์ฉ๋ Anchor Boxes ๊ฐ๋ ์ ๋์ ํ์ด์.
- ์ด๋ก ์ธํด ๊ฐ์ฒด์ ์์น์ ํฌ๊ธฐ๋ฅผ ์์ธกํ๋ ์ ํ๋๊ฐ ๊ฐ์ ๋์์ด์.
- Batch Normalization
- ๋คํธ์ํฌ ์ ๋ฐ์ Batch Normalization์ ์ ์ฉํด ํ์ต ์๋๋ฅผ ๋์ด๊ณ , ๊ณผ์ ํฉ์ ๋ฐฉ์งํ์ด์.
- ์ด๋ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ์ ๋ฐ์ ์ผ๋ก ํฅ์์์ผฐ์ด์.
- High-Resolution Classifier
- YOLO v2๋ ๋์ ํด์๋์์ ๊ฐ์ฒด๋ฅผ ๋ถ๋ฅํ๋๋ก ํ์ต๋์์ด์.
- ์ด๋ก ์ธํด ๋ ์์ ๊ฐ์ฒด๋ ํจ๊ณผ์ ์ผ๋ก ๊ฐ์งํ ์ ์๊ฒ ๋์์ด์.
- Passthrough Layer
- ์์ ๊ฐ์ฒด ๊ฒ์ถ ์ฑ๋ฅ์ ํฅ์์ํค๊ธฐ ์ํด Passthrough Layer๋ฅผ ๋์ ํ์ด์.
- ์ด ๋ ์ด์ด๋ ๋ฎ์ ํด์๋์ feature map์ ๋์ ํด์๋์ feature map์ผ๋ก ํตํฉํด ๋ ์ธ๋ฐํ ์ ๋ณด ์ฒ๋ฆฌ๊ฐ ๊ฐ๋ฅํ๊ฒ ํด์ค์.
๋จ์
- Anchor Box์ ์: YOLO v2์ Anchor Box ์๋ ๊ณ ์ ๋์ด ์์ด์, ๋ค์ํ ๊ฐ์ฒด ํฌ๊ธฐ๋ฅผ ๊ฐ์งํ๋ ๋ฐ ํ๊ณ๊ฐ ์์ ์ ์์ด์.
- ์ฌ์ ํ Localization ๋ฌธ์ : YOLO v2๋ v1์ ๋นํด ํฅ์๋์์ง๋ง, ์ฌ์ ํ ๊ฐ์ฒด ์์น๋ฅผ ์ ํํ ์์ธกํ๋ ๋ฐ ์์ด์ ์ผ๋ถ ํ๊ณ๋ฅผ ๊ฐ์ง๊ณ ์์ด์.
3. YOLOv3: ๋์ฑ ๊ฐ๋ ฅํ ์ฑ๋ฅ
YOLO v3๋ 2018๋ Joseph Redmon์ ์ํด ๋ฐํ๋์์ผ๋ฉฐ, YOLO ์๋ฆฌ์ฆ ์ค ๊ฐ์ฅ ๋๋ฆฌ ์ฌ์ฉ๋๋ ๋ฒ์ ์ค ํ๋์์. ์ด ๋ชจ๋ธ์ ๋์ฑ ๊น๊ณ ๋ณต์กํ ๋คํธ์ํฌ ๊ตฌ์กฐ๋ฅผ ์ฑํํด, ๋ ๋์ ์ ํ๋์ ๋ ๋์ ์ฑ๋ฅ์ ์ ๊ณตํด์.
์๋ ๋ฐฉ์
- Feature Pyramid Network (FPN)
- YOLO v3๋ Feature Pyramid Network (FPN) ๊ตฌ์กฐ๋ฅผ ์ฑํํด ๋ค์ํ ํฌ๊ธฐ์ ๊ฐ์ฒด๋ฅผ ๊ฐ์งํ๋ ์ฑ๋ฅ์ ํฅ์์์ผฐ์ด์.
- FPN์ ์ธ ๊ฐ์ง ๋ค๋ฅธ ํฌ๊ธฐ์ feature map์ ์ฌ์ฉํด ์์ ๊ฐ์ฒด๋ถํฐ ํฐ ๊ฐ์ฒด๊น์ง ๋ชจ๋ ํจ๊ณผ์ ์ผ๋ก ๊ฒ์ถํ ์ ์๊ฒ ํด์ค์.
- Darknet-53 Backbone
- YOLO v3๋ Darknet-53์ด๋ผ๋ ์๋ก์ด ๋ฐฑ๋ณธ ๋คํธ์ํฌ๋ฅผ ์ฌ์ฉํ์ด์.
- ์ด ๋คํธ์ํฌ๋ 53๊ฐ์ convolutional layer๋ก ์ด๋ฃจ์ด์ ธ ์์ผ๋ฉฐ, ์ด์ ๋ฒ์ ๋ค๋ณด๋ค ๋ ๊น๊ณ ๊ฐ๋ ฅํด์. ์ด๋ฅผ ํตํด ๋ ๋ณต์กํ ๊ฐ์ฒด๋ฅผ ๊ฒ์ถํ ์ ์๊ฒ ๋์์ด์.
- No Softmax
- YOLO v3๋ ๊ธฐ์กด์ Softmax ๋์ Logistic Regression์ ์ฌ์ฉํด ๊ฐ ํด๋์ค์ ๋ํ ๋ ๋ฆฝ์ ์ธ ํ๋ฅ ์ ๊ณ์ฐํด์.
- ์ด๋ฅผ ํตํด ๋ค์ค ๋ผ๋ฒจ ๊ฐ์ฒด๋ ํจ๊ณผ์ ์ผ๋ก ๊ฒ์ถํ ์ ์๊ฒ ๋์์ด์.
๋จ์
- ์๋ ์ ํ: YOLO v3๋ ์ด์ ๋ฒ์ ๋ค์ ๋นํด ๋ ๋ณต์กํ ๋คํธ์ํฌ ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์, ์ฐ์ฐ๋์ด ์ฆ๊ฐํ๊ณ ์๋๊ฐ ์ฝ๊ฐ ์ ํ๋ ์ ์์ด์.
- ๋ ๋์ ํ๋์จ์ด ์๊ตฌ์ฌํญ: YOLO v3๋ ๋ ๋ง์ ์ฐ์ฐ์ด ํ์ํ๊ธฐ ๋๋ฌธ์, ์ฑ๋ฅ์ ์ต๋ํํ๋ ค๋ฉด ๋ ๊ฐ๋ ฅํ ํ๋์จ์ด๊ฐ ํ์ํด์.
4. YOLOv4: ์ค์๊ฐ ์ฑ๋ฅ ์ต์ ํ
YOLO v4๋ 2020๋ Alexey Bochkovskiy์ ์ํด ๋ฐํ๋์์ด์. YOLO v4๋ ์ค์๊ฐ ์ฑ๋ฅ๊ณผ ์ ํ๋๋ฅผ ๊ทน๋ํํ๊ธฐ ์ํด ์ฌ๋ฌ ๊ฐ์ง ์ต์ ํ ๊ธฐ๋ฒ์ ๋์ ํ์ด์. ์ด ๋ฒ์ ์ ๋ ๋ง์ ๋ฐ์ดํฐ์ ๋ค์ํ ๊ธฐ๋ฒ์ ํตํฉํด ์ค์ ํ๊ฒฝ์์ ๋ ๋์ ์ฑ๋ฅ์ ๋ฐํํ ์ ์๋๋ก ์ค๊ณ๋์์ด์.
์๋ ๋ฐฉ์
- Bag of Freebies (BoF)
- YOLO v4๋ Bag of Freebies๋ผ๋ ๋ค์ํ ํ์ต ๊ธฐ๋ฒ์ ์ ์ฉํด ์ฑ๋ฅ์ ํฅ์์์ผฐ์ด์.
- ์ด ๊ธฐ๋ฒ๋ค์ ๋ชจ๋ธ์ ์ฐ์ฐ๋์ ์ฆ๊ฐ์ํค์ง ์์ผ๋ฉด์๋, ํ์ต ๊ณผ์ ์์ ์ฑ๋ฅ์ ๊ทน๋ํํ ์ ์๊ฒ ํด์ค์.
- ์๋ฅผ ๋ค์ด, Mosaic Data Augmentation์ด๋ Self-Adversarial Training ๊ฐ์ ๊ธฐ๋ฒ๋ค์ด ์ด์ ํด๋นํด์.
- Bag of Specials (BoS)
- Bag of Specials๋ ๋ชจ๋ธ์ ์ฐ์ฐ๋์ ์ฆ๊ฐ์ํค์ง๋ง, ์ฑ๋ฅ ํฅ์์ ๊ธฐ์ฌํ๋ ์ถ๊ฐ์ ์ธ ๊ธฐ๋ฒ๋ค์ ๋งํด์.
- YOLO v4๋ CSPDarknet53 ๋ฐฑ๋ณธ ๋คํธ์ํฌ, SPP ๋ธ๋ก, PANet ๊ตฌ์กฐ๋ฅผ ๋์ ํด ๋ชจ๋ธ์ ๊ฒ์ถ ์ฑ๋ฅ์ ํ์ธต ๋ ๊ฐํํ์ด์.
- CSPDarknet53 Backbone
- YOLO v4๋ CSPDarknet53 ๋ฐฑ๋ณธ์ ์ฌ์ฉํด, ๋ชจ๋ธ์ ์๋์ ์ ํ๋ ์ฌ์ด์ ๊ท ํ์ ์ ์งํ๋ฉด์๋ ์ฑ๋ฅ์ ๊ทน๋ํํ์ด์.
๋จ์
- ๋ณต์กํ ๊ตฌ์ฑ: YOLO v4๋ ๋ค์ํ ์ต์ ํ ๊ธฐ๋ฒ๋ค์ด ํฌํจ๋์ด ์์ด, ์ด๋ณด์์๊ฒ๋ ๊ตฌ์ฑ๊ณผ ์ดํด๊ฐ ๋ค์ ๋ณต์กํ ์ ์์ด์.
- ๋ ๋ง์ ํ๋์จ์ด ์์ ํ์: ์ต์ ํ๋ ์ฑ๋ฅ์ ๋ฐํํ๊ธฐ ์ํด์๋ ์ฌ์ ํ ๋์ ์ฑ๋ฅ์ ํ๋์จ์ด๊ฐ ํ์ํ ์ ์์ด์.
YOLO ์๋ฆฌ์ฆ์ ์ด๊ธฐ ๋ฒ์ ๋ค์ธ YOLO v1๋ถํฐ YOLO v4๊น์ง๋ ๊ฐ์ฒด ๊ฒ์ถ ๊ธฐ์ ์ ํฐ ๋ฐ์ ์ ์ด๋ค๋์ด์. ์ด๋ฌํ ๋ฐ์ ๋ค์ ๊ฐ์ฒด ๊ฒ์ถ ๋ถ์ผ์์ YOLO๊ฐ ์ด๋ป๊ฒ ์ค์๊ฐ ์ฑ๋ฅ๊ณผ ๋์ ์ ํ๋๋ฅผ ๋์์ ๋ฌ์ฑํ๋์ง๋ฅผ ๋ณด์ฌ์ค๋๋ค.
๋ค์ ํฌ์คํ ์์๋ YOLO v5 ์ดํ์ ๋ฐ์ ์ ๋ค๋ฃจ์ด ๋ณผ ์์ ์ ๋๋ค. ์ต์ YOLO ๋ชจ๋ธ๋ค์ด ์ด๋ป๊ฒ ๊ฐ์ฒด ๊ฒ์ถ์ ์ ํ๋์ ํจ์จ์ฑ์ ํ์ธต ๋ ๋์๋์ง, ๊ทธ๋ฆฌ๊ณ ๊ทธ๋ค์ด ๊ฐ์ง๋ ํน์ง๊ณผ ์ฐจ๋ณ์ ์ ๋ํด ์์ธํ ์ดํด๋ณด๊ฒ ์ต๋๋ค. ๊ณ์ํด์ ์ต์ ๊ธฐ์ ๋ํฅ์ ํ์ธํ๊ณ , YOLO์ ๋ฐ์ ์ ํจ๊ป ๋ฐ๋ผ๊ฐ ๋ณด์ธ์! ๐