OCR์ ์ด๋ฏธ์ง ์์์ ํ ์คํธ๋ฅผ ์ฐพ๊ณ ์ฝ์ด๋ด๋ ๊ธฐ์ ๋ก ์ต๊ทผ์๋ ์ํ๋ ํ ์คํธ ์ ๋ณด๋ง์ ์ถ์ถํ๋ ์์ค๊น์ง ๋๋ฌํ๊ณ ,
์ด ๋ถ์ผ์์๋ ๋ค์ด๋ฒ๊ฐ ์ ๊ณ ์ต๊ณ ์์ค์ ๊ธฐ์ ๋ ฅ์ ๊ฐ์ง๊ณ ์๋ค.
๋ค์ด๋ฒ๋ CVPR 2019์์ ๋ฐํํ Text detection ๋ชจ๋ธ์ธ CRAFT, 21๋ ์ ๋ฐํํ end-to-end document understanding ๋ชจ๋ธ์ธ Donut ๊ทธ๋ฆฌ๊ณ ๊ฐ์ฅ ์ต๊ทผ์ธ 22๋ ์ ๋ฐํํ DEER ๋ชจ๋ธ๊น์ง OCR ๋ถ๋ถ์์ ๋ง์ ๋ ผ๋ฌธ์ ๋ด๊ณ ์๋ค.
๋ ผ๋ฌธ์์์ ์์น์ ์ ์ฑ๋ฅ์ด ์ฐ์ํ ๊ฒ์ ์๊ฒ ๋๋ฐ, ์ค์ ๋ก ์ผ๋ง๋ ์ ๋์ํ๋ ๋ชจ๋ธ์ผ๊น?
๋ค์ด๋ฒ ํด๋ก๋ฐ๋ OCR ์น ๋ฐ๋ชจ๋ฅผ ์ ๊ณตํ๊ณ ์์ด ๋๊ตฌ๋ ์ฌ์ฉํด ๋ณผ ์ ์๋ค. (๋งํฌ)
๋ค์ด๋ฒ ํด๋ก๋ฐ OCR ์น ๋ฐ๋ชจ ํ์ด์ง์์ General OCR, ์์์ฆ, ์ ์ฉ์นด๋ ๋ฑ ๋ค์ํ ํญ๋ชฉ์ ๊ณ ๋ฅด๊ณ ์ด๋ฏธ์ง๋ฅผ ์ ๋ก๋ํด์
OCR ๋ชจ๋ธ์ ์คํ ๊ฒฐ๊ณผ๋ฅผ ๋ณผ ์ ์๋ค.
(ํ๋ฃจ์ ํ ์คํธ ํด ๋ณผ ์ ์๋ ์์ด ์ ํด์ ธ์์ผ๋ ์ฐธ๊ณ ํ์...)
1. General OCR
General OCR์ ํ ์คํธ์ ์์ญ์ ๋ฐ์ค ํํ๋ก ์ฐพ์์ ํ ์คํธ๋ฅผ ์ธ์ํ ๊ฒฐ๊ณผ๋ง์ ๋ณด์ฌ์ฃผ๋ ๋ฐ๋ชจ์ด๋ค. ํ ์คํธ๋ฅผ ์ํด ๋ค์ํ ํฐํธ๊ฐ ๋ง์ ์ ํ๋ธ ํ๋ฉด, ์์ ํ ์คํธ๊ฐ ๋ง์ ๋ฉ๋ดํ, ์ผ์ธ ๊ฐํ ์ด๋ฏธ์ง ๋ฑ์ ์ฌ์ฉํ๋ค.
๊ฒฐ๊ณผ๋ ํฌ๊ณ ์์ ๋ค์ํ ํ ์คํธ๋ฅผ ๊ฝค ์ ๊ฒ์ถํด๋ธ๋ค. ํ์ง๋ง ๊ธ์จ์ฒด๊ฐ ํน์ดํ ์๋ก ์ค์ธ์ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ฐ์ํ๊ธฐ๋ ํ๋ค.
2. Document Understanding
Document Understanding ๋ถ์ผ์์๋ ์์์ฆ, ์ ์ฉ์นด๋, ์ฌ์ ์๋ฑ๋ก์ฆ, ๊ณ ์ง์, ๋ช ํจ, ์ ๋ถ์ฆ ์นดํ ๊ณ ๋ฆฌ๋ฅผ ์ ๊ณตํ๊ณ ๊ฐ ๋ฌธ์๋ฅผ ์ ๋ก๋ํ๋ฉด ์นดํ ๊ณ ๋ฆฌ๋ณ๋ก ์ด๋ฏธ์ง์์ ํ์ํ ์ ๋ณด๋ง์ ์ฐพ์ ํ ์คํธ ์์ญ์ ํ์ํ๊ณ ํ ์คํธ ์ ๋ณด๋ key-value ํํ๋ก ๋ณด์ฌ์ค๋ค. ์๋ฅผ ๋ค์ด ์์์ฆ์์๋ {์ํ๋ช : ์จ๊ทธ๋จ, ์๋ : 2, ๋จ๊ฐ: 800, ๊ธ์ก : 1600}, ์ฌ์ ์ ๋ฑ๋ก์ฆ์์๋ {๋ฑ๋ก ๋ฒํธ : xxx, ๋ฒ์ธ๋ช : xxx, ...} ์ ๊ฐ์ ์ ๋ณด๋ฅผ ์ถ๋ ฅํด ์ค๋ค.
ํ์ฌ OCR ์น ๋ฐ๋ชจ์์ ์ฌ์ฉ๋๋ ๋ชจ๋ธ์ด ์ ํํ ์ด๋ค ๊ฒ์ธ์ง ์ ์๋ ์์ผ๋ ๊ต์ฅํ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋ค.
๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ ผ๋ฌธ์ ์ฐธ๊ณ ํ๋ฉด ํ์ฌ ๊ธฐ์ ๋ ฅ์ ์์ค์ ์ ๋์ ์ผ๋ก ์ ์ ์์ผ๋, ์ค์ ๋ก ๋ฆฌ์ผ ์ด๋ฏธ์ง์์ ์ด๋ ์ ๋์ ์ฑ๋ฅ์ ๊ฐ์ง๋์ง๋ ์๊ธฐ ์ฝ์ง ์๋ค. ํ์ง๋ง ์ค๋ ์ดํด๋ณธ ๋ค์ด๋ฒ ํด๋ก๋ฐ์ OCR ๊ธฐ์ ์ฒ๋ผ ๋ฐ๋ชจ๋ฅผ ์ ๊ณตํ๋ ๊ฒฝ์ฐ ์ ์ฑ์ ์ธ ํ ์คํธ๋ฅผ ํด๋ณผ ์ ์๊ธฐ ๋๋ฌธ์ ์ฐ๊ตฌ๋ ๊ธฐ์ ๊ฐ๋ฐ ๋ฑ์ ์ฐธ๊ณ ํ๋ฉด ์ข์ ๊ฒ ๊ฐ๋ค.
์ฌํด(2023) ๋ง์๋ DEER ๋ชจ๋ธ์ API๋ ๊ณต๊ฐํ๋ค๊ณ ํ๋ ์ผ๋ง๋ ์ฐ์ํ ์ฑ๋ฅ์ ๋ด๋์ง ํ์ธํด ๋ด์ผ๊ฒ ๋ค.