clip

안녕하세요. 오늘은 기본적인 멀티모달 AI 모델인, CLIP을 사용해 보는 튜토리얼을 가져왔어요!사실 요즘은 딥러닝 프레임워크가 발전해서 굉장히 손쉽게 AI 모델을 다뤄볼 수 있는데요. CLIP 과 같은 트랜스포머 기반의 모델도 허깅페이스 API를 사용하면 굉장히 쉽게 사용해 볼 수 있어요. 특히 학습하지 않고 pre-trained(사전 학습된) 모델을 사용한다면 더더욱 쉽겠죠? *CLIP : Contrastive Language-Image Pretraining 그래서 오늘은 코딩을 할 줄 모르는 비개발자도 손쉽게 따라할 수 있는 튜토리얼을 만들어 왔답니다 ~~ 🤗사실 코드가 짧아서 뭐 만들었다고 할 수 있는 수준도 아니긴 해요 ㅎㅎCLIP Model 그래도 간단하게 라도 CLIP 모델이 무엇인지는 ..

Open AI에서 게재한(ICML2021) Contrastive Language-Image Pre-training(CLIP)를 제안한 논문을 소개합니다. Introduction & Motivation 딥러닝이 computer vision의 거의 모든 분야에서 굉장히 잘 활용되지만 현재 접근 방식에는 몇가지 문제가 있습니다. 기존의 vision model들은 학습된 task에는 성능이 우수하지만 새로운 task에 적용시키기 위해서는 새로 학습을 시키야 하는(그러면 새로운 데이터셋과 추가 레이블링이 필요..) 번거로움(?) 이 있습니다. 벤치마크에서 잘 수행되는 몇몇 model들은 stress test에서 좋지 않은 결과를 보여주기도 합니다. 대안으로 raw text와 image를 pair로 학습시키는 방법..