적절한 딥러닝 모델을 결정하는 방법 | 문제의 난이도, 컴퓨팅 리소스, 실시간성, 작업별 요구사항, pre-trained model, 해석/설명 가능성

컴퓨터비전과 AI 분야는 다양한 task에 대한 논문과 코드들이 공개되어 있기에 딥러닝 알고리즘을 사용하는 것은 큰 어려움이 없다. 하지만 문제는 수많은 딥러닝 알고리즘 중에 어떤 것을 사용해야 하냐는 것이다. 물론 최신 알고리즘이 우수한 성능을 가지겠지만, 해당 연구가 초점을 맞추는 것에 따라 알고리즘의 장단점이 서로 달라진다. 정확도, 실시간성(속도), 경량화, 학습 데이터, 학습 방법, 사용성 등 다양한 부분에 초점을 맞춘 연구들이 존재한다. 

 

때문에 우리는 우리가 풀어야할 문제의 특성을 파악하고 그에 적합한 딥러닝 알고리즘을 찾는 것이 중요하다. 이 포스팅에서는 컴퓨터비전 애플리케이션을 위한 딥러닝 알고리즘 선택에 영향을 미치는 요인을 살펴보려 한다.

 

문제의 난이도

문제의 난이도는 적절한 딥러닝 알고리즘을 결정하는 데 중요한 역할을 한다. 쉬운 문제의 경우 가볍고 간단한 아키텍처로 충분할 수 있다. 더 적은 수의 매개변수가 필요하고 과적합될 가능성이 적기 때문이다. 클래스 개수가 적은 이미지 분류나 객체 검출 작업이 이에 해당한다.

 

하지만 더 크고 복잡한 문제의 경우 최소한 ResNet, DensNet과 같은 깊게 쌓여진 아키텍처를 사용하여 조금 더 복잡한 패턴을 캡처하고 정확도를 향상시킬 수 있다. 1000개 이상의 클래스를 분류하거나 크고 작은 객체를 함께 검출해야 하는 객체 검출 문제 등이 이에 해당한다. 

 

사실 현실적인 문제들은 난이도는 쉽지만 데이터셋이 없는 경우도 있고, 데이터셋은 많지만 난이도 자체가 어려운 문제들도 있다. 또한 단순히 어렵다 쉽다로 나눌 수 없는 문제들도 있다. 이들은 여러 실험을 통해 가장 적절한 수준의 모델의 찾아야 한다.

사용 가능한 컴퓨팅 리소스

딥러닝 알고리즘의 선택은 사용 가능한 컴퓨팅 리소스의 영향도 받는다. 더 복잡하고 큰 아키텍처는 학습 및 배포를 위해 더 많은 컴퓨팅 성능과 메모리가 필요하다. 가벼운 딥러닝 모델은 GPU 1~2개로도 학습이 가능하지만, 대규모 모델의 경우 100개 이상이 필요한 경우도 있다. 딥러닝 모델을 배포하기 위해서는 서버도 필요하기 때문에 서버에서의 모델 인퍼런스 속도 또한 중요하다. 사용할 수 있는 서버의 성능이 낮은데 계산량이 많은 딥러닝 모델을 사용하는 경우 인퍼런스 속도가 너무 느려질 수 있기 때문이다.

 

제한된 리소스를 사용할 수 있는 경우 MobileNet 또는 SqueezeNet과 같은 더 가벼운 아키텍처를 사용하거나 여러 경량화 기법을 고려할 수 있다. 

실시간(Real-Time) 제약

실시간 개체 감지 또는 비디오 분석과 같은 일부 컴퓨터 비전 응용 프로그램에는 지연 시간이 짧은 예측이 필요하다. 이 경우 알고리즘의 속도가 중요한 요소가 된다. 과거 SSD(Single-shot Detector) 및 YOLO(You Only Look Once) 모델은 정확도를 손상시키지 않으면서 실시간 성능을 제공하므로 인기 있는 알고리즘이었다. 이러한 모델은 속도와 정밀도 간의 균형을 달성하기 위해 앵커 상자 및 기능 피라미드와 같은 다양한 기술을 사용한다.

프로젝트의 목적에 따라 실시간성이 필요한지 아닌지가 나뉘기 때문에 딥러닝 모델을 선정하기 전에 꼭 고려해야 할 문제이다.

 

 

작업별 요구 사항

서로 다른 컴퓨터 비전 작업에는 고유한 요구 사항이 있으며 이러한 요구 사항에 맞는 알고리즘을 선택하는 것이 필수적이다. 같은 객체 검출 작업이더라도 굉장히 작은 객체를 검출해야 한다거나, 많은 양의 양질의 학습 데이터를 모으기 힘든 상황이라거나, 의료 AI처럼 precision, recall이 중요한 모델이 필요하다거나 하는 요구사항이 있을 수 있다.

 

이처럼 작업별 다양한 세부 요구사항이 있을 수 있기 때문에 올바른 선택을 하려면 작업의 특정 요구 사항을 이해하는 것이 중요하다.

Transfer Learning & Pre-trained Model

대규모 데이터셋에서 pre-train된 모델을 활용하는 transfer learning은 컴퓨터 비전에서 일반적인 관행이 되었다. 많은 딥러닝 프레임워크는 사전 훈련된 모델에 대한 액세스를 제공하여 개발자가 특정 사용 사례에 맞게 모델을 fine-tuning할 수 있도록 한다. 알고리즘을 선택할 때 pre-train된 모델을 사용할 수 있는지, 그리고 당면한 작업에 효과적으로 적용할 수 있는지 고려하는 것이 중요하다. 이를 통해 상당한 계산 리소스와 교육 시간을 절약할 수 있다.

가장 좋은 방법은 pre-train된 모델을 그대로 사용할 수 있는 경우이거나, 약간의 fine-tuning 을 통해 모델을 바로 사용하는 것이다. 물론 맘처럼 쉽지는 않지만. 때문에 pre-train된 모델을 사용할 수 있는지 여부는 꽤 중요한 문제이다. pre-train된 모델을 제공하지 않으면 대규모 학습데이터로 처음부터 학습을 진행해야 하는 부담이 있다.

 

해석 가능성과 설명 가능성

특정 애플리케이션에서는 모델 예측의 해석 가능성과 설명 가능성이 중요하다. 딥러닝 모델은 블랙 박스로 간주되기 때문에 특정 예측을 수행하는 이유를 이해하기 어렵다. 해석 가능성이 우선이라면 decision tree, random forest 또는 SVM(Support Vector Machine)과 같은 머신러닝 알고리즘을 기존의 컴퓨터 비전 기술과 함께 사용하여 설명 가능한 결과를 얻을 수 있다. 또는 explainable AI 관점의 접근방법이 필요하다.

의료처럼 사람의 생명과 직결된 문제의 경우 AI 모델의 설명 가능성이 꽤 중요하다.

---

컴퓨터비전 애플리케이션에 가장 적합한 딥러닝 알고리즘을 선택하려면 풀어야할 문제의 난이도, 사용 가능한 리소스, 실시간 제약, 작업별 요구 사항, 전이 학습 기회 및 해석 가능성과 같은 다양한 요소를 신중하게 고려해야 한다. 다양한 알고리즘의 강점과 한계를 이해하면 개발자가 정보에 입각한 결정을 내리고 컴퓨터 비전 시스템에서 최적의 성능과 정확성을 보장할 수 있다. 이 분야가 계속 발전함에 따라 특정 사용 사례에 가장 적합한 알고리즘을 선택하는 데 최신 연구 및 발전을 따라가는 것 또한 중요하다.