๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
728x90

๐Ÿ“– Theory30

[CV] SFM (Structure From Motion) : ์—ฐ์†๋œ 2D ์ด๋ฏธ์ง€๋“ค๋กœ ์นด๋ฉ”๋ผ ํฌ์ฆˆ์™€ 3D shape ์žฌ๊ตฌ์„ฑํ•˜๊ธฐ ๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” visual localization์— ํ•„์ˆ˜์ ์ธ 2D ์˜์ƒ์œผ๋กœ 3D ์ •๋ณด๋ฅผ ์ถ”์ถœํ•˜๋Š” SFM (Structure From Motion) ์— ๋Œ€ํ•ด ์ตœ๋Œ€ํ•œ ์ˆ˜์‹์—†์ด ๊ฐ ๋‹จ๊ณ„์˜ ๋ชฉ์ ๊ณผ ์˜๋ฏธ์— ์ง‘์ค‘ํ•˜์—ฌ ์†Œ๊ฐœํ•˜๋ ค ํ•œ๋‹ค SFM์€ GUI๊ฐ€ ์žˆ๋Š” ๋ฒ”์šฉ SFM (Structure From Motion), MVS (Multi View Stereo) ํŒŒ์ดํ”„๋ผ์ธ์ธ COLMAP ๋“ฑ์˜ visual localization task ์—์„œ ์‚ฌ์šฉ๋œ๋‹ค. COLMAP์˜ ๊ฒฝ์šฐ ์ •๋ ฌ๋œ ๋˜๋Š” ์ •๋ ฌ๋˜์ง€ ์•Š์€ ์ด๋ฏธ์ง€์˜ reconstruction ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•œ๋‹ค.(Multi-view ์ด๋ฏธ์ง€๋“ค๋งŒ ๋„ฃ์œผ๋ฉด camera pose + 3D shape์„ ๋ณต์›ํ•ด์ค๋‹ˆ๋‹ค.) * SFM๊ณผ ์œ ์‚ฌํ•œ ์•Œ๊ณ ๋ฆฌ์ฆ˜? SFM๊ณผ ์œ ์‚ฌํ•œ ์•Œ๊ณ ๋ฆฌ์ฆ˜์œผ๋กœ ๋งŽ์ด ์•Œ๋ ค์ ธ ์žˆ๋Š” S.. 2022. 6. 5.
[Tip] AI/ML & Computer Vision ์ง๊ตฐ ์‹ค์ œ ๋ฉด์ ‘ ์งˆ๋ฌธ ๋ชจ์Œ์ง‘! ์•ˆ๋…•ํ•˜์„ธ์š”!! AI & Computer Vision Engineer๋กœ ์žˆ๋Š” ๋ญ…์ฆค์ž…๋‹ˆ๋‹ค. ์ €๋„ ์ทจ์ค€์ƒ ์‹œ์ ˆ์ด ์žˆ์—ˆ๋Š”๋ฐ์š”...๐Ÿค—์˜ค๋Š˜์€ AI/ML, computer vision ์ง๋ฌด๋กœ ์ •๋ง ๋‹ค์–‘ํ•œ ๊ธฐ์—…์˜ ๋ฉด์ ‘์„ ๋ณด๋ฉด์„œ ๋ฐ›์€ ์งˆ๋ฌธ๋“ค์„ ๊ณต์œ ํ•ด ๋ณด๋ ค๊ณ  ํ•ด์š”! ๋ฉด์ ‘์—์„œ ์‹ค์ œ๋กœ ๋ฐ›์€ ์งˆ๋ฌธ๊ณผ ๋ฌผ์–ด๋ณผ ๊ฐ€๋Šฅ์„ฑ์ด ํฐ ์งˆ๋ฌธ๋“ค์„ ์„ž์–ด์„œ ์•Œ๋ ค๋“œ๋ฆด๊ฒŒ์š”. ์ด๊ฑฐ ์ •๋ง ๊ฟ€ํŒ์ธ๊ฑฐ ์•„์‹œ์ฃ ? ๐Ÿ“ฃ ๊ทธ๋ฆฌ๊ณ  ์กฐ๋งŒ๊ฐ„ ๋ฉด์ ‘ ์งˆ๋ฌธ ๋ฆฌ์ŠคํŠธ๋ฅผ ์นดํ…Œ๊ณ ๋ฆฌ๋ณ„๋กœ ์กฐ๊ธˆ ๋” ์ƒ์„ธํ•˜๊ฒŒ ์—…๋ฐ์ดํŠธํ•˜๋ ค๊ณ  ํ•˜๋‹ˆ ๋งŽ์€ ๊ด€์‹ฌ ๋ถ€ํƒ๋“œ๋ ค์š” ๐Ÿ”ฅ  *์ฐธ๊ณ  ์‚ฌํ•ญ๊ธฐ์—…, ์‚ฐ์—…, ์„ธ๋ถ€ ์ง๋ฌด ๋งˆ๋‹ค ๋‹ค๋ฅด์ง€๋งŒ ๊ต‰์žฅํžˆ ๊ธฐ๋ณธ์ ์ธ ๊ฒƒ ์œ„์ฃผ๋กœ ๋ฌผ์–ด๋ณด๋Š” ๊ณณ๋„ ์žˆ๊ณ , ์•„์ฃผ ๋”ฅํ•˜๊ณ  ์–ด๋ ค์šด ์งˆ๋ฌธ(์ •๋‹ต์ด ์—†๋Š”)์„ ํ•˜๊ฑฐ๋‚˜ ๋‹นํ•ด ๋ฐœํ‘œ๋œ ๋…ผ๋ฌธ์ด๋‚˜ ๊ธฐ์ˆ ์— ๋Œ€ํ•ด ๋ฌผ์–ด๋ณด๋Š” ๊ณณ๋„ ์žˆ์–ด์š”. ์‚ฌ์‹ค ์„์‚ฌ ์ด์ƒ์€ ๊ฐœ์ธ ์—ฐ๊ตฌ์™€ ๊ธฐ.. 2022. 5. 15.
[CV] JPEG, MPEG : ๊ธฐ์ดˆ์ ์ธ ์˜์ƒ ์••์ถ• ๊ธฐ๋ฒ• ์˜์ƒ ์••์ถ• ๊ด€๋ จ ๋‚ด์šฉ์„ ๋‹ค์‹œ ๊ณต๋ถ€ํ•  ๊ธฐํšŒ๊ฐ€ ์ƒ๊ฒจ ๊นŒ๋จน๊ธฐ ์ „์— ์ •๋ฆฌํ•˜๋ ค ํ•œ๋‹ค. ๋ฏธ๋””์–ด ๋ฐ์ดํ„ฐ๋Š” ๊ธฐํ•˜๊ธ‰์ˆ˜์ ์œผ๋กœ ๋งŽ์•„์ง€๊ณ  ์ด๋ฅผ ์ €์žฅํ•  ๊ณต๊ฐ„์€ ๋ฌผ๋ฆฌ์ ์œผ๋กœ ํ•œ๊ณ„๊ฐ€ ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์˜์ƒ ์••์ถ•์€ ์ค‘์š”ํ•œ ๊ธฐ์ˆ ์ด๋‹ค. ์ตœ๊ทผ ์—ฐ๊ตฌ์—์„œ๋Š” ๋”ฅ๋Ÿฌ๋‹์„ ์ด์šฉํ•œ ์••์ถ• ๋ฐฉ๋ฒ•๋“ค์ด ๋งŽ์ด ์†Œ๊ฐœ๋˜์—ˆ๋Š”๋ฐ ์˜์ƒ ์••์ถ• ๊ณผ์ • ์ „์ฒด๋ฅผ ๋”ฅ๋Ÿฌ๋‹ ๊ตฌ์กฐ(CNN ๊ตฌ์กฐ)๋กœ ๋ฐ”๊พธ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์•„๋ž˜์—์„œ ์†Œ๊ฐœํ•˜๋Š” ๊ธฐ๋ณธ์ ์ธ ์••์ถ• ๊ณผ์ •์—์„œ ์ผ๋ถ€ ๊ณผ์ •์„ ๋”ฅ ๋‰ด๋Ÿด ๋„คํŠธ์›Œํฌ๋กœ ๋Œ€์ฒดํ•˜์—ฌ ์••์ถ• ํšจ์œจ๊ณผ ํ€„๋ฆฌํ‹ฐ๋ฅผ ๋†’์ด๋Š” ๋ฐฉ์‹์ด๋‹ค. ์•„์ง ์ œ๋Œ€๋กœ ๋ณด์ง„ ์•Š์•˜์ง€๋งŒ ๋”ฅ๋Ÿฌ๋‹ ๋ฐฉ์‹์˜ ์••์ถ•์€ ์•„๋ฌด๋ž˜๋„ ํ•™์Šต ๋ฐ์ดํ„ฐ์— dependency๊ฐ€ ๋†’์„ ๊ฒƒ์ด๊ธฐ ๋•Œ๋ฌธ์— ๊ธฐ์กด์˜ ์ „ํ†ต์ ์ธ ๋ฐฉ๋ฒ•๋ณด๋‹ค ์„ฑ๋Šฅ์ด ์ข‹๋”๋ผ๋„ ์ž„์˜์˜ ์˜์ƒ(์†Œ๋น„์ž๊ฐ€ ์—…๋กœ๋“œ ํ•˜๋Š”)์„ ์••์ถ•ํ•˜๊ธฐ์—๋Š” ์–ด๋ ค์šด ์ ์ด ์žˆ์„ ๊ฒƒ์ด๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ ์˜์ƒ ์••์ถ•์€ S.. 2022. 5. 14.
[CV] 3D Geometry ์„ค๋ช… *์ž๋ฃŒ ์ถœ์ฒ˜ : ๋‹คํฌํ”„๋กœ๊ทธ๋ž˜๋จธ https://darkpgmr.tistory.com/category/%EC%98%81%EC%83%81%EC%B2%98%EB%A6%AC Coordinate System (์ขŒํ‘œ๊ณ„) ์˜์ƒ geometry ์—์„œ๋Š” ์›”๋“œ(3D), ์นด๋ฉ”๋ผ(3D), ์ •๊ทœ(2D), ํ”ฝ์…€(2D) 4๊ฐœ์˜ ์ขŒํ‘œ๊ณ„๊ฐ€ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. - ์›”๋“œ ์ขŒํ‘œ๊ณ„ ๊ฐ์ฒด์˜ ์œ„์น˜๋ฅผ ํ‘œํ˜„ํ•  ๋•Œ ๊ธฐ์ค€์œผ๋กœ ์‚ผ๋Š” ์ขŒํ‘œ๊ณ„๋กœ ์นด๋ฉ”๋ผ ์ขŒํ‘œ๊ณ„์™€ ๋‹จ์œ„๋ฅผ ๋งž์ถฐ์•ผ ํ•˜๊ณ  ์œ„(P)์™€ ๊ฐ™์ด ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. - ์นด๋ฉ”๋ผ ์ขŒํ‘œ๊ณ„ ์นด๋ฉ”๋ผ๋ฅผ ๊ธฐ์ค€์œผ๋กœ ํ•œ ์ขŒํ‘œ๊ณ„์ด๋ฉฐ, ์•„๋ž˜์ฒจ์ž c ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์œ„์™€ ๊ฐ™์ด ํ‘œํ˜„ํ•ฉ๋‹ˆ๋‹ค. - ํ”ฝ์…€ ์ขŒํ‘œ๊ณ„ ์˜์ƒ ์ขŒํ‘œ๊ณ„๋ผ๊ณ ๋„ ๋ถˆ๋ฆฌ๋ฉฐ ์ด๋ฏธ์ง€์˜ ์™ผ์ชฝ ์œ„๋ฅผ ์›์ ์œผ๋กœ ์˜ค๋ฅธ์ชฝ ๋ฐฉํ–ฅ์„ x ์ฆ๊ฐ€ ๋ฐฉํ–ฅ, ์•„๋ž˜ ๋ฐฉํ–ฅ์„ y ์ฆ๊ฐ€ ๋ฐฉํ–ฅ์œผ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ํ”ฝ์…€ ์ขŒํ‘œ๊ณ„์˜.. 2022. 4. 4.
[Graphics] 3D model์˜ material ์†์„ฑ / obj, mtl ํŒŒ์ผ PBR Texture 3D ๋ชจ๋ธ๋ง ๋ถ„์•ผ์—์„œ ์žฌ์งˆ ํ‘œ๋ฉด์˜ ์†์„ฑ์— ๋”ฐ๋ผ ๋ฐ˜์‚ฌ, ๊ตด์ ˆ, ํˆฌ๊ณผ ๋“ฑ์˜ ์†์„ฑ์ด ๋ฌผ๋ฆฌ์ ์œผ๋กœ ์ž‘์šฉํ•˜๊ณ  ์‹œ๊ฐ์ ์œผ๋กœ ํ‘œํ˜„ํ•˜๋Š” ๊ธฐ๋ฒ•์„ Physical Base Rendering (PBR) ์ด๋ผ๊ณ  ํ•œ๋‹ค. ์žฌ์งˆ ์†์„ฑ์€ Roughness, Metalness ๋“ฑ ๋‹ค์–‘ํ•˜๊ฒŒ ์กด์žฌํ•˜๊ณ  ์ด๋“ค์„ ๋‹ค์–‘ํ•œ map์œผ๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋Š”๋ฐ, ์ด๋Ÿฌํ•œ ์žฌ์งˆ ํ‘œํ˜„์„ ์œ„ํ•ด texture ํŒŒ์ผ์„ ๋ชจ์•„๋†“์€ ๊ฒƒ์„ PBR texture๋ผ๊ณ  ํ•œ๋‹ค. ์ œ์ž‘ํ•œ ๊ณณ์— ๋”ฐ๋ผ ์กฐ๊ธˆ์”ฉ ์ด๋ฆ„์ด ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์ง€๋งŒ ์ผ๋ฐ˜์ ์œผ๋กœ ์•„๋ž˜์™€ ๊ฐ™์€ ์ข…๋ฅ˜๋“ค์ด ์žˆ๋‹ค. Albedo (๋˜๋Š” Diffuse, Base color) Normal, Bump, Displacement, Height Rughness (๋˜๋Š” Glossiness) Metalness Specular (.. 2022. 4. 4.
[CV] ์นด๋ฉ”๋ผ ์บ˜๋ฆฌ๋ธŒ๋ ˆ์ด์…˜ & ์นด๋ฉ”๋ผ ํŒŒ๋ผ๋ฏธํ„ฐ | 2D ์ด๋ฏธ์ง€์™€ 3D ์›”๋“œ ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ๋ชจ๋ธ๋งํ•˜๋Š” ๋ฐฉ๋ฒ• ์นด๋ฉ”๋ผ ์บ˜๋ฆฌ๋ธŒ๋ ˆ์ด์…˜ (Camera Calibration) ์นด๋ฉ”๋ผ ์บ˜๋ฆฌ๋ธŒ๋ ˆ์ด์…˜(camera calibration)์€ ์นด๋ฉ”๋ผ์˜ ๋ฌผ๋ฆฌ์  ํŠน์„ฑ์„ ์ดํ•ดํ•˜๊ณ , ์ด๋ฅผ ํ†ตํ•ด 3D ๊ณต๊ฐ„์—์„œ์˜ ๋ฌผ์ฒด์˜ ์œ„์น˜๋‚˜ ํ˜•ํƒœ๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์ถ”์ •ํ•˜๊ธฐ ์œ„ํ•œ ๊ณผ์ •์ด์—์š”. ์ด ๊ณผ์ •์€ ์นด๋ฉ”๋ผ๊ฐ€ ์ฐ์€ 2D ์ด๋ฏธ์ง€์™€ ์‹ค์ œ 3D ์›”๋“œ ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ๋ชจ๋ธ๋งํ•˜๊ณ , ์ด๋ฏธ์ง€์—์„œ ์™œ๊ณก๋œ ๋ถ€๋ถ„์„ ๋ณด์ •ํ•˜๋Š” ๋ฐ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค.  ์นด๋ฉ”๋ผ ์บ˜๋ฆฌ๋ธŒ๋ ˆ์ด์…˜์˜ ์ฃผ์š” ๊ณผ์ •์€ ๋‚ด๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ์™€ ์™ธ๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์ถ”์ •ํ•˜๋Š” ๊ฒƒ์ธ๋ฐ, ์ด๋Ÿฌํ•œ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋ Œ์ฆˆ ์™œ๊ณก์„ ์ˆ˜์ •ํ•˜๊ณ  ์นด๋ฉ”๋ผ ์œ„์น˜๋ฅผ ์ถ”์ •ํ•  ์ˆ˜ ์žˆ์–ด์š”.  1. ์นด๋ฉ”๋ผ ๋‚ด๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ (Intrinsic camera parameters)1.1. ์ดˆ์  ๊ฑฐ๋ฆฌ(focal length)์นด๋ฉ”๋ผ ๋ Œ์ฆˆ์˜ ์ดˆ์  ๊ฑฐ๋ฆฌ๋กœ, ์ด๋ฏธ์ง€ ์„ผ.. 2022. 3. 28.
728x90