LMDB 형식 데이터셋이란? | 텍스트 인식 데이터셋 포맷

LMDB (Lightning Memory-Mapped Database)

lmdb는 Lightning Memory-Mapped Database의 약자로, embedded key-value 데이터베이스 엔진이다. lmdb는 파일 시스템에 저장된 데이터를 메모리에 매핑하여 데이터를 효율적으로 읽고 쓸 수 있도록 한다. 이는 빠른 읽기와 쓰기, 쓰레드 안전성, 낮은 메모리 사용량 등의 장점을 가지고 있어, 대규모 데이터셋을 처리할 때 매우 효율적이다.

 

lmdb 데이터베이스는 키-값 쌍의 형태로 데이터를 저장하는데, 여기서 키는 고유한 문자열이며, 값은 이 문자열에 연관된 데이터입니다. 이러한 특징은 텍스트 인식 분야에서 매우 유용하다. 예를 들어, 이미지와 해당 이미지에 포함된 텍스트 라벨(GT)을 저장하는 데에 lmdb를 사용할 수 있다. 실제로 대부분의 텍스트 인식 모델의 공식 코드에서 lmdb 형식의 데이터셋을 사용하고 있다.

 

lmdb는 C 라이브러리로 구현되어 있으며, 파이썬에서는 lmdb 모듈을 통해 사용할 수 있다. 이 모듈을 사용하면 데이터베이스를 열고, 데이터를 읽고 쓰는 등의 작업을 수행할 수 있다.

 

lmdb 모듈 사용법 (python)

• lmdb 데이터베이스 열고 닫기 : lmdb.open 함수를 이용해서 열고 close 함수로 닫아야 함
• lmdb 데이터베이스에 데이터 쓰기 
  • env.begin 함수를 사용하여 트랜잭션을 시작하고, txn.put 함수를 사용하여 데이터를 쓸 수 있음
  • put 함수의 첫 번째 인자로는 데이터의 key를, 두 번째 인자로는 데이터의 value를 전달
  • 데이터베이스에 저장할 때는 문자열이 아닌 bytes 형식으로 저장해야 하므로, encode 함수를 사용하여 문자열을 bytes로 변환
• lmdb 데이터베이스에서 데이터 읽기
  • txn.get 함수를 사용하여 데이터베이스에서 데이터를 읽을 수 있음
  • get 함수의 인자로는 데이터의 key를 전달하며, 반환값으로는 bytes 형식의 데이터가 반환
  • 읽어온 데이터가 문자열일 경우, decode 함수를 사용하여 bytes를 문자열로 변환

import lmdb

# LMDB 데이터베이스 열기
env = lmdb.open('/path/to/database', map_size=int(1e12))


# LMDB 데이터베이스에 데이터 쓰기
with env.begin(write=True) as txn:
    key = 'some_key'
    value = 'some_value'

    # 데이터 쓰기
    txn.put(key.encode('utf-8'), value.encode('utf-8'))


# LMDB 데이터베이스에 데이터 쓰기
with env.begin() as txn:
    key = 'some_key'

    # 데이터 읽기
    value = txn.get(key.encode('utf-8')).decode('utf-8')
    print(value)
    
    
# LMDB 데이터베이스 닫기
env.close()