요즘은 어지간한 딥러닝 모델을 GPU 없이 돌리기 어렵지만, 또 의외로 가벼운 모델들은 CPU 만으로 돌릴 수 있다. 가능하다면 클라우드 비용도 줄일 수 있으니 온라인 예측이 필요한 경우가 아니라면 CPU 환경에서 인퍼런스하는 것도 고려해 볼 만하다. 물론 CPU로 딥러닝 모델 인퍼런스를 하게 되면 상당히 느리다. 때문에 ONNX 모델 변환을 하고, ONNX runtime으로 인퍼런스를 수행하면 조금이라도 모델 인퍼런스 속도를 향상시킬 수 있다. 또한 TensorRT와 달리 ONNX 모델 변환의 경우 입력 텐서 크기 또한 동적으로 가져갈 수 있다는 장점이 있다. 물론 하드웨어 환경에 따라, 모델에 따라, 입력 텐서의 크기에 따라 속도 향상의 정도가 다르거나, 오히려 속도가 느려질 수도 있으니 테스트를 해..

asyncio asyncio는 Python의 비동기 프로그래밍을 지원하는 표준 라이브러리로 이벤트 루프와 코루틴을 기반으로 동작하며, 다음과 같은 주요 역할을 한다. 비동기 코드 관리: asyncio는 비동기 작업을 쉽게 관리하고 스케줄링이 가능. 이벤트 루프: asyncio의 핵심 요소는 이벤트 루프로, 비동기 작업의 스케줄링과 실행을 관리하며 이벤트 루프가 반복되면서 비동기 작업을 처리. 코루틴 지원: asyncio는 코루틴을 사용하여 비동기 작업을 정의하고 실행 가능. async def로 정의된 코루틴 함수는 await 키워드를 사용하여 다른 비동기 함수를 호출하고 작업을 일시 중단시킬 수 있음. 이벤트 처리: asyncio를 사용하면 이벤트 처리를 쉽게 구현할 수 있음. 예를 들어, 네트워크 연결..

Pytorch Compile 튜토리얼 Pytorch 2.0 Overview Pytorch 2.0 compiled_model = torch.compile(model) 긴 설명할 것 없이 Pytorch 2.0 이후 compile 이라는 것이 추가되었는데, 위 예시처럼 torch.comile(model)이라는 짧은 코드 한 줄만 추가하면 모델 인퍼런스 속도를 향상시킬 수 있다고 한다. 공식 문서에 따르면 A100 GPU에서 모델 학습 속도는 43% 향상되고, 모델 인퍼런스 속도는 Float32 precision에서 21%, AMP precision에서 51% 정도 향상된다고 한다. Pytorch 2.0 Compile 모델 인퍼런스 테스트 torchvision에서 제공하는 기본적인 모델인 resnet50으로 p..

Torch-TensorRT는 PyTorch와 NVIDIA의 TensorRT를 통합하여 딥러닝 모델을 최적화하고 가속화하는 데 사용되는 PyTorch/TorchScript/FX용 컴파일러이다. Torch-TensorRT는 PyTorch 익스텐션으로 동작하며 JIT(Just In Time) 런타임에 원할하게 통합되는 모듈을 컴파일한다. NVIDIA TensorRT는 NVIDIA GPU에서 모델을 더 빠르게 실행하기 위한 최적화된 런타임 엔진으로, 특히 딥 러닝 모델을 배포 환경에서 더 효율적으로 실행하고 추론(inference) 성능을 향상시키는 데 사용된다. 기존에 파이썬으로 TensorRT를 사용하기 위해서는 오픈소스 커뮤니티에서 개발한 torch2trt 패키지를 사용해서 pytorch 모델을 tenso..

Docker 전체 포스팅 더보기 [Docker] (1) 도커 개념 설명 | 도커는 왜 사용하는 걸까? [Docker] (2) 도커 & 도커컴포즈 다운로드 [Docker] (3) 도커 핵심 개념 - 이미지, 컨테이너, 도커 허브 [Docker] (4) docker pull(이미지 다운로드) & docker run(컨테이너 생성/실행) & 포트포워딩(포트매핑) [Docker] (5) 도커 run 명령어 옵션, 도커 컨테이너가 종료되지 않게 하는 방법 [Docker] (6) 도커 컨테이너로 접속하기 - docker exec & docker attach [Docker] (7) 도커 volume(볼륨) 옵션 - 컨테이너 폴더와 호스트 폴더 연결하기 [Docker] (8) 도커 commit(커밋) & push(푸시..

Docker 전체 포스팅 더보기 [Docker] (1) 도커 개념 설명 | 도커는 왜 사용하는 걸까? [Docker] (2) 도커 & 도커컴포즈 다운로드 [Docker] (3) 도커 핵심 개념 - 이미지, 컨테이너, 도커 허브 [Docker] (4) docker pull(이미지 다운로드) & docker run(컨테이너 생성/실행) & 포트포워딩(포트매핑) [Docker] (5) 도커 run 명령어 옵션, 도커 컨테이너가 종료되지 않게 하는 방법 [Docker] (6) 도커 컨테이너로 접속하기 - docker exec & docker attach [Docker] (7) 도커 volume(볼륨) 옵션 - 컨테이너 폴더와 호스트 폴더 연결하기 [Docker] (8) 도커 commit(커밋) & push(푸시..