
TorchServe๋ก ๋ฅ๋ฌ๋ ๋ชจ๋ธ ์๋นํ๊ธฐ: FastAPI๋ณด๋ค ํธ๋ฆฌํ ์ด์ ?
ยท
๐ป Programming/AI & ML
๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ์ตํ ๋ค์๋ ์ค์ ์๋น์ค์ ์ ์ฉํ๊ธฐ ์ํด ์๋น(Serving)์ด๋ผ๋ ๊ณผ์ ์ ๊ฑฐ์ณ์ผ ํ๋ค. PyTorch ๋ชจ๋ธ์ ์๋นํ๋ ๋ํ์ ์ธ ๋ฐฉ๋ฒ ์ค ํ๋๊ฐ TorchServe์ด๋ค. TorchServe๋? TorchServe๋ PyTorch์์ ๊ณต์์ ์ผ๋ก ์ ๊ณตํ๋ ๋ชจ๋ธ ์๋น ํ๋ ์์ํฌ์ด๋ค. PyTorch ๋ชจ๋ธ์ REST API ํํ๋ก ์์ฝ๊ฒ ๋ฐฐํฌํ ์ ์๋๋ก ๋์์ค๋ค. ๋ค์๊ณผ ๊ฐ์ ํน์ง์ด ์๋ค.๋ชจ๋ธ ๋ฒ์ ๊ด๋ฆฌ ๋ฐ ๋ค์ค ๋ชจ๋ธ ์๋น ๊ฐ๋ฅ์ ์ฒ๋ฆฌ → ์ถ๋ก → ํ์ฒ๋ฆฌ๋ฅผ ๊ตฌ์กฐํํ ์ ์๋ ํธ๋ค๋ฌ ๊ธฐ๋ฐ ์์คํ
.mar ํ์ผ ํ๋์ ๋ชจ๋ธ๊ณผ ๋ก์ง์ ํตํฉ ๊ฐ๋ฅREST API ๋ฐ gRPC ๊ธฐ๋ฐ ์ถ๋ก ์ง์Prometheus, OpenTelemetry ๋ฑ์ ๋ชจ๋ํฐ๋ง ๋๊ตฌ์ ์ฐ๋ ๊ฐ๋ฅ FastAPI์์ ์ฐจ์ด์ ํญ๋ชฉFastAPI๋ก..