[NAVER DEVIEW 2023] 쏘카 카셰어링 도메인에서의 Continuous AI System

최근 NAVER DEVIEW 2023 컨퍼런스에 다녀왔다. 참가 신청이 거의 수강 신청 급이었는데 운 좋게 티켓을 얻게 되었다.

 

DAY1에서 쏘카의 Continual Learning 관련 세션에 흥미가 생겨서 발표를 듣고 리뷰를 해보고자 한다.

 

• 행사 : NAVER DEVIEW 2023 DAY 1
• 세션 : 초등학생 AI모델 고등학교 보내기: Continual Learning으로 지속적으로 성장하는 AI 시스템 만들기
• 카테고리 : AI/ML, DATA

 

AI 시스템의 경우 새로운 task가 발생하면 모델을 업데이트하고 재학습시켜 다시 배포하는 과정을 거쳐야하는데, 이는 굉장히 낭비적인 일이라 continuous AI system의 필요성이 대두되고 있다. 쏘카에서도 카셰어링 도메인에서 개발자의 리소스를 최소화하기 위해 지속적으로 성장하는 AI system을 구축했다고 한다.

 

---

# 카셰어링 도메인

발표에서는 쏘카의 카셰어링 도메인에 대해서도 설명해주는데 상당히 흥미로웠다. 쏘카를 이용해봤다면 알 수 있는데, 공유 차량을 이용하기 전후로 차량 상태를 촬영하여 어플에 업로드하게 된다. 이 때 유입되는 차량 이미지를 분류해서 차량을 관리에 활용한다고 한다. 차량이 파손되거나 오염되었을 때 효율적으로 대처하기 위해 필수적인 과정이다.

 

얼핏 생각해봤을 때 쉽지 않은 프로젝트라고 생각했다. 차량마다 생김새도 다르고 야외에서 유저가 직접 촬영한 이미지를 사용하기 때문에 다양한 환경이 발생하기 때문이다. 

 

# 지속적으로 성장하는 AI 시스템

앞서 살펴본 카셰어링 도메인에서의 AI 시스템을 지속적으로 업데이트하기 위해 쏘카는 "엔드 유저의 피드백을 모두 모아 모델을 재학습하고 싶다" 라는 생각을 하게 된다. 이를 위해 task에 무관한 데이터를 걸러내고 레이블링 작업을 하고 모델을 재학습시켜야 한다. 이러한 일련의 과정들을 효율적으로 진행하기 위해 아래와 같은 방법들을 사용했다고 한다.

 

1. Task 와 무관한 데이터 필터링 : Out-of-Distribution(OOD) 기술 사용

일반적인 Image classifier는 학습 시 미리 정의된 클래스 중 하나로 이미지를 분류하기 때문에 미리 정의된 종류의 이미지가 아니라면 이미지 분류기가 분류해낼 수 없다. 쉽게 얘기하면 강아지와 고양이를 분류해내는 사진에 다른 동물 사진이나 사물 사진을 넣더라도 개와 고양이 중 하나로만 분류한다는 뜻이다.

 

카셰어링 도메엔에서는 아무래도 유저가 직접 촬영한 사진을 업로드하기 때문에 task와 무관한, 즉 차량 사진이 아닌 이미지가 업로드되는 경우가 발생한다. 이러한 task와 무관한 데이터를 필터링하기 위해 OOD 기술을 사용했다고 한다.

 

OOD

OOD 역시 연구가 굉장히 많이 진행된 기술로 학습 과정에서 OOD를 걸러내기 적합한 모델을 만드는 방법도 있지만 가장 간단한 방법은 이미 학습된 모델에서 인퍼런스 시 모델 출력 값으로 OOD를 걸러내는 방법이다. 모델의 출력은 미리 정의된 클래스에 해당하는 confidence socre를 나타내는데 이 값이 특정 threshold 보다 낮은 경우 OOD 데이터로 간주하는 방법이다. 아까 얘기한 강아지, 고양이 문제에서 강아지도 고양이도 아닌 이미지가 들어온다면 두 클래스 모두 confidence score가 낮을 확률이 높을테니까. 물론 이 방법은 굉장히 간단하지만 성능이 그리 좋은 방법은 아니다. 하지만, 카셰어링 도메인에서는 차량 이미지와 차량이 아닌 이미지의 경우 데이터 분포 차이가 크기 때문에 꽤 좋은 성능을 내는 것 같다. 역시 쉽지만 효과적인 방법이 최고의 방법이다.

 

이러한 OOD Detection 기술로 분리된 데이터를 별도로 분석하고 엔드유저가 생성하는 피드백의 양이 감소하고 인퍼런스 결과의 퀄리티가 향상되는 이점을 얻었다고 한다.

 

 

2. 효율적인 데이터 수집 : Data Retriever 사용

모델 성능을 개선하기 위해서는 재학습용 데이터를 수집해야하는데 이 과정에서 비용과 시간이 많이 소요된다. 아무 데이터나 수집하는 것이 아니라 모델의 성능을 분석해서 부족한 부분을 파악하고 필요한 데이터 위주로 수집해야 하기 때문이다. 가장 무식한 방법은 사람이 여러명 달라붙어 적절한 이미지를 골라내는 것인데 이건 정말 힘든 일이다.

 

 

쏘카에서는 재학습 데이터를 효과적으로 수집하기 위해 Image Retriever를 사용하는데 쉽게 말해 수 많은 이미지 뭉치 속에서 원하는 이미지 유형을 찾아내는 방법이다. 이 또한 딥러닝 모델을 활용하는데, 우선 수많은 데이터가 있는 Unlabeled pool과 타겟 데이터(원하는 유형의 데이터) 소량을 준비한다. 그리고 두 데이터 집단을 Image representation 성능이 좋은 딥러닝 모델에 통과시켜 이미지들 간의 유사도를 측정한다. 즉, 레이블되지 않은 수많은 데이터 속에서 내가 미리 고른 타겟 데이터와 유사도가 높은 이미지를 걸러내는 것이다.

 

물론 딥러닝 모델의 representation 성능이 얼마나 좋은지에 따라 retriever의 성능이 달라지겠지만 1차적으로 데이터를 걸러내는 방법으로 굉장히 사용해볼만한 방법이라 생각한다.

 

이러한 Data Retriever 를 활용하여 빗방울이나 눈이 묻은 차량의 데이터를 찾아내어 레이블링 리소스를 줄이는데 성공했다고 한다.

 

 

3. 새로운 클래스를 포함하는 AI 모델 재학습 : Continual Learning

마지막은 새로운 클래스를 포함하는 AI 모델을 효과적으로 재학습하는 방법인 continual learning에 관한 내용이다. 강아지와 고양이만 분류하는 모델을 재학습해서 강아지, 고양이, 토끼를 분리하기 위해서는 세 종류로 레이블링된 데이터로 모델을 재학습해야 하는데 매번 모델을 처음부터 재학습시키는 것이 굉장히 낭비적이다. 이미 모델이 강아지와 고양이를 분리하기 위한 knowledge를 가지고 있으니 토끼만을 분류하기 위한 knowledge를 축적하는 방법으로 학습을 시켜보자는 것이 continual learning의 개념이다.

 

그냥 새로운 task를 계속 학습시키면 안되냐고? 하나의 모델이 연속적으로 여러 task를 학습하면 가장 최근에 학습한 task의 성능은 높지만 이전 task의 성능은 떨어지는 catastrophic forgetting이라는 현상이 발생한다. 어려운 말을 쓰지 않아도 우리도 수학 공부하다가 갑자기 영어를 공부하면 풀었던 수학 문제 중 일부는 잊게 되니까 사람과 비슷하다고 보면 된다.

 

아무튼 continual learning 연구 분야에서는 이러한 catastrophic forgetting 현상을 막기 위한 여러 시도를 해왔으며, 본 발표에서는 인간이 기억을 형성하는 방법을 모사해 장기기억과 단기기억를 저장해 knowledge를 주고받는 방법을 제안했다. 

 

LPG: Lightweight-prompt Learning with General Representation

제안하는 방법은 장기기억을 담당하는 General Representation 모듈과 단기기억을 담당하는 Guiding 모듈로 구성된다. Guiding 모듈이 새로운 task가 들어올 때마다 출력 feature의 variance를 보고 task-specific한 지식을 알려준다. 이 역시 General Prepresentation 모듈의 성능이 제안하는 방법의 key가 될 것 같다. 또한 새로운 task가 많아질수록 불리해지는 방법이기도 하다.

 

제안하는 방법으로 베이스라인 대비 좋은 성능을 달성했다고 한다. 아쉬운 점은 아직 리서치 단계에 그쳤으며 현실 문제에 도입하기에는 아직은 어려운점이 많다고 한다.

---

오랜만에 비대면으로 발표를 들으니 집중도 잘되고 기분이 좋았다. 특히 발표자 분의 피티 스킬이 굉장히 좋아서 말씀해주시는 내용이 귀에 쏙쏙 들어왔다.

 

내용적으로도 AI 시스템을 유지 보수하기 위해 다른 회사에서는 어떤 노력을 하고 있는지 알 수 있는 시간이어서 굉장히 유익했다. 특히 내 기준에는 Data retriever를 사용한 데이터 수집 방법이 실무에 활용하기 좋을 것 같아서 굉장히 흥미로웠다.