๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
๐Ÿ› Research/OCR

[์›น ๋ฐ๋ชจ] ๋„ค์ด๋ฒ„ ํด๋กœ๋ฐ” OCR ๋ฐ๋ชจ

by ๋ญ…์ฆค 2023. 3. 1.
๋ฐ˜์‘ํ˜•

OCR์€ ์ด๋ฏธ์ง€ ์†์—์„œ ํ…์ŠคํŠธ๋ฅผ ์ฐพ๊ณ  ์ฝ์–ด๋‚ด๋Š” ๊ธฐ์ˆ ๋กœ ์ตœ๊ทผ์—๋Š” ์›ํ•˜๋Š” ํ…์ŠคํŠธ ์ •๋ณด๋งŒ์„ ์ถ”์ถœํ•˜๋Š” ์ˆ˜์ค€๊นŒ์ง€ ๋„๋‹ฌํ–ˆ๊ณ ,

์ด ๋ถ„์•ผ์—์„œ๋Š” ๋„ค์ด๋ฒ„๊ฐ€ ์—…๊ณ„ ์ตœ๊ณ  ์ˆ˜์ค€์˜ ๊ธฐ์ˆ ๋ ฅ์„ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค.

 

๋„ค์ด๋ฒ„๋Š” CVPR 2019์—์„œ ๋ฐœํ‘œํ•œ Text detection ๋ชจ๋ธ์ธ CRAFT, 21๋…„์— ๋ฐœํ‘œํ•œ end-to-end document understanding ๋ชจ๋ธ์ธ Donut ๊ทธ๋ฆฌ๊ณ  ๊ฐ€์žฅ ์ตœ๊ทผ์ธ 22๋…„์— ๋ฐœํ‘œํ•œ DEER ๋ชจ๋ธ๊นŒ์ง€ OCR ๋ถ€๋ถ„์—์„œ ๋งŽ์€ ๋…ผ๋ฌธ์„ ๋‚ด๊ณ  ์žˆ๋‹ค.

 

๋…ผ๋ฌธ์—์„œ์˜ ์ˆ˜์น˜์ ์€ ์„ฑ๋Šฅ์ด ์šฐ์ˆ˜ํ•œ ๊ฒƒ์€ ์•Œ๊ฒ ๋Š”๋ฐ, ์‹ค์ œ๋กœ ์–ผ๋งˆ๋‚˜ ์ž˜ ๋™์ž‘ํ•˜๋Š” ๋ชจ๋ธ์ผ๊นŒ?

 

๋„ค์ด๋ฒ„ ํด๋กœ๋ฐ”๋Š” OCR ์›น ๋ฐ๋ชจ๋ฅผ ์ œ๊ณตํ•˜๊ณ  ์žˆ์–ด ๋ˆ„๊ตฌ๋‚˜ ์‚ฌ์šฉํ•ด ๋ณผ ์ˆ˜ ์žˆ๋‹ค. (๋งํฌ)

 

๋„ค์ด๋ฒ„ ํด๋กœ๋ฐ” OCR ์›น ๋ฐ๋ชจ ํŽ˜์ด์ง€

 

๋„ค์ด๋ฒ„ ํด๋กœ๋ฐ” OCR ์›น ๋ฐ๋ชจ ํŽ˜์ด์ง€์—์„œ General OCR, ์˜์ˆ˜์ฆ, ์‹ ์šฉ์นด๋“œ ๋“ฑ ๋‹ค์–‘ํ•œ ํ•ญ๋ชฉ์„ ๊ณ ๋ฅด๊ณ  ์ด๋ฏธ์ง€๋ฅผ ์—…๋กœ๋“œํ•ด์„œ

OCR ๋ชจ๋ธ์˜ ์‹คํ–‰ ๊ฒฐ๊ณผ๋ฅผ ๋ณผ ์ˆ˜ ์žˆ๋‹ค.

 

(ํ•˜๋ฃจ์— ํ…Œ์ŠคํŠธ ํ•ด ๋ณผ ์ˆ˜ ์žˆ๋Š” ์–‘์ด ์ •ํ•ด์ ธ์žˆ์œผ๋‹ˆ ์ฐธ๊ณ ํ•˜์ž...)

 

1. General OCR

General OCR์€ ํ…์ŠคํŠธ์˜ ์˜์—ญ์„ ๋ฐ•์Šค ํ˜•ํƒœ๋กœ ์ฐพ์•„์„œ ํ…์ŠคํŠธ๋ฅผ ์ธ์‹ํ•œ ๊ฒฐ๊ณผ๋งŒ์„ ๋ณด์—ฌ์ฃผ๋Š” ๋ฐ๋ชจ์ด๋‹ค. ํ…Œ์ŠคํŠธ๋ฅผ ์œ„ํ•ด ๋‹ค์–‘ํ•œ ํฐํŠธ๊ฐ€ ๋งŽ์€ ์œ ํŠœ๋ธŒ ํ™”๋ฉด, ์ž‘์€ ํ…์ŠคํŠธ๊ฐ€ ๋งŽ์€ ๋ฉ”๋‰ดํŒ, ์•ผ์™ธ ๊ฐ„ํŒ ์ด๋ฏธ์ง€ ๋“ฑ์„ ์‚ฌ์šฉํ–ˆ๋‹ค. 

 

๊ฒฐ๊ณผ๋Š” ํฌ๊ณ  ์ž‘์€ ๋‹ค์–‘ํ•œ ํ…์ŠคํŠธ๋ฅผ ๊ฝค ์ž˜ ๊ฒ€์ถœํ•ด๋‚ธ๋‹ค. ํ•˜์ง€๋งŒ ๊ธ€์”จ์ฒด๊ฐ€ ํŠน์ดํ• ์ˆ˜๋ก ์˜ค์ธ์‹ํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋ฐœ์ƒํ•˜๊ธฐ๋„ ํ•œ๋‹ค.

 

 

2. Document Understanding

Document Understanding ๋ถ„์•ผ์—์„œ๋Š” ์˜์ˆ˜์ฆ, ์‹ ์šฉ์นด๋“œ, ์‚ฌ์—…์ž๋“ฑ๋ก์ฆ, ๊ณ ์ง€์„œ, ๋ช…ํ•จ, ์‹ ๋ถ„์ฆ ์นดํ…Œ๊ณ ๋ฆฌ๋ฅผ ์ œ๊ณตํ•˜๊ณ  ๊ฐ ๋ฌธ์„œ๋ฅผ ์—…๋กœ๋“œํ•˜๋ฉด ์นดํ…Œ๊ณ ๋ฆฌ๋ณ„๋กœ ์ด๋ฏธ์ง€์—์„œ ํ•„์š”ํ•œ ์ •๋ณด๋งŒ์„ ์ฐพ์•„ ํ…์ŠคํŠธ ์˜์—ญ์„ ํ‘œ์‹œํ•˜๊ณ  ํ…์ŠคํŠธ ์ •๋ณด๋Š” key-value ํ˜•ํƒœ๋กœ ๋ณด์—ฌ์ค€๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ์˜์ˆ˜์ฆ์—์„œ๋Š” {์ƒํ’ˆ๋ช… : ์”จ๊ทธ๋žจ, ์ˆ˜๋Ÿ‰ : 2, ๋‹จ๊ฐ€: 800, ๊ธˆ์•ก : 1600}, ์‚ฌ์—…์ž ๋“ฑ๋ก์ฆ์—์„œ๋Š” {๋“ฑ๋ก ๋ฒˆํ˜ธ : xxx, ๋ฒ•์ธ๋ช… : xxx, ...} ์™€ ๊ฐ™์€ ์ •๋ณด๋ฅผ ์ถœ๋ ฅํ•ด ์ค€๋‹ค.


ํ˜„์žฌ OCR ์›น ๋ฐ๋ชจ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ๋ชจ๋ธ์ด ์ •ํ™•ํžˆ ์–ด๋–ค ๊ฒƒ์ธ์ง€ ์•Œ ์ˆ˜๋Š” ์—†์œผ๋‚˜ ๊ต‰์žฅํžˆ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ค€๋‹ค. 

 

๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์€ ๋…ผ๋ฌธ์„ ์ฐธ๊ณ ํ•˜๋ฉด ํ˜„์žฌ ๊ธฐ์ˆ ๋ ฅ์˜ ์ˆ˜์ค€์„ ์ •๋Ÿ‰์ ์œผ๋กœ ์•Œ ์ˆ˜ ์žˆ์œผ๋‚˜, ์‹ค์ œ๋กœ ๋ฆฌ์–ผ ์ด๋ฏธ์ง€์—์„œ ์–ด๋Š ์ •๋„์˜ ์„ฑ๋Šฅ์„ ๊ฐ€์ง€๋Š”์ง€๋Š” ์•Œ๊ธฐ ์‰ฝ์ง€ ์•Š๋‹ค. ํ•˜์ง€๋งŒ ์˜ค๋Š˜ ์‚ดํŽด๋ณธ ๋„ค์ด๋ฒ„ ํด๋กœ๋ฐ”์˜ OCR ๊ธฐ์ˆ ์ฒ˜๋Ÿผ ๋ฐ๋ชจ๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ฒฝ์šฐ ์ •์„ฑ์ ์ธ ํ…Œ์ŠคํŠธ๋ฅผ ํ•ด๋ณผ ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์—ฐ๊ตฌ๋‚˜ ๊ธฐ์ˆ  ๊ฐœ๋ฐœ ๋“ฑ์— ์ฐธ๊ณ ํ•˜๋ฉด ์ข‹์„ ๊ฒƒ ๊ฐ™๋‹ค.

 

์˜ฌํ•ด(2023) ๋ง์—๋Š” DEER ๋ชจ๋ธ์˜ API๋„ ๊ณต๊ฐœํ•œ๋‹ค๊ณ  ํ•˜๋‹ˆ ์–ผ๋งˆ๋‚˜ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋‚ด๋Š”์ง€ ํ™•์ธํ•ด ๋ด์•ผ๊ฒ ๋‹ค. 

๋ฐ˜์‘ํ˜•