본문 바로가기

💻 Programming87

[pandas] DataFrame 설명 | 데이터 조작, 필터링, 시각화, 통계 분석 판다스(Pandas) 판다스(Pandas)는 파이썬에서 데이터 조작과 분석을 위한 라이브러리로, 특히 표 형식의 데이터를 다루기에 용이하다. 판다스의 주요 자료구조인 데이터프레임(DataFrame)은 행과 열로 이루어진 테이블 형식의 데이터를 다루기 위한 자료구조로 데이터를 다룰 때 자주 사용된다. 데이터프레임 생성 import pandas as pd # 2차원 리스트로 데이터프레임 생성 data = [ ['Alice', 25, 'New York'], ['Bob', 30, 'San Francisco'], ['Charlie', 35, 'Los Angeles'] ] df = pd.DataFrame(data, columns=['Name', 'Age', 'City']) 판다스의 pd.DataFrame() 함수를.. 2023. 11. 16.

[pandas] 2차원 리스트를 데이터프레임으로 변환하기 | pd.DataFrame 데이터 파일이 콤마나 탭으로 구분된 csv, tsv 등의 파일 형태이면, pd.read_csv(file_path) 또는 pd.read_table(file_path, sep='\t') 을 파일을 읽어 바로 데이터프레임으로 사용할 수 있다. 하지만, 간혹 비정형 데이터를 테이블 형태로 가공 후 데이터프레임으로 변환하고 싶을 때가 있는데, 생각보다 매우 간단하다. pd.DataFrame()을 사용하고, columns 만 지정해주면 된다. 2차원 리스트 → 데이터프레임 변환 예시 import pandas as pd # 2차원 리스트 data = [ ['Alice', 25, 'New York'], ['Bob', 30, 'San Francisco'], ['Charlie', 35, 'Los Angeles'] ] # .. 2023. 11. 16.

[ONNX] 딥러닝 모델 ONNX Runtime으로 CPU 환경에서 가속화하기 요즘은 어지간한 딥러닝 모델을 GPU 없이 돌리기 어렵지만, 또 의외로 가벼운 모델들은 CPU 만으로 돌릴 수 있다. 가능하다면 클라우드 비용도 줄일 수 있으니 온라인 예측이 필요한 경우가 아니라면 CPU 환경에서 인퍼런스하는 것도 고려해 볼 만하다. 물론 CPU로 딥러닝 모델 인퍼런스를 하게 되면 상당히 느리다. 때문에 ONNX 모델 변환을 하고, ONNX runtime으로 인퍼런스를 수행하면 조금이라도 모델 인퍼런스 속도를 향상시킬 수 있다. 또한 TensorRT와 달리 ONNX 모델 변환의 경우 입력 텐서 크기 또한 동적으로 가져갈 수 있다는 장점이 있다. 물론 하드웨어 환경에 따라, 모델에 따라, 입력 텐서의 크기에 따라 속도 향상의 정도가 다르거나, 오히려 속도가 느려질 수도 있으니 테스트를 해.. 2023. 11. 16.

[PostgreSQL/Python] DB 트랜잭션 비동기 처리하기 | asyncio, asyncpg | 데이터베이스 연결 풀 만들기 asyncio asyncio는 Python의 비동기 프로그래밍을 지원하는 표준 라이브러리로 이벤트 루프와 코루틴을 기반으로 동작하며, 다음과 같은 주요 역할을 한다. 비동기 코드 관리: asyncio는 비동기 작업을 쉽게 관리하고 스케줄링이 가능. 이벤트 루프: asyncio의 핵심 요소는 이벤트 루프로, 비동기 작업의 스케줄링과 실행을 관리하며 이벤트 루프가 반복되면서 비동기 작업을 처리. 코루틴 지원: asyncio는 코루틴을 사용하여 비동기 작업을 정의하고 실행 가능. async def로 정의된 코루틴 함수는 await 키워드를 사용하여 다른 비동기 함수를 호출하고 작업을 일시 중단시킬 수 있음. 이벤트 처리: asyncio를 사용하면 이벤트 처리를 쉽게 구현할 수 있음. 예를 들어, 네트워크 연결.. 2023. 11. 3.

[Model Inference] Pytorch 2.0 Compile 사용 후기 및 장단점 | pytorch compile 모델 추론 속도 개선 테스트 Pytorch Compile 튜토리얼 Pytorch 2.0 Overview Pytorch 2.0 compiled_model = torch.compile(model) 긴 설명할 것 없이 Pytorch 2.0 이후 compile 이라는 것이 추가되었는데, 위 예시처럼 torch.comile(model)이라는 짧은 코드 한 줄만 추가하면 모델 인퍼런스 속도를 향상시킬 수 있다고 한다. 공식 문서에 따르면 A100 GPU에서 모델 학습 속도는 43% 향상되고, 모델 인퍼런스 속도는 Float32 precision에서 21%, AMP precision에서 51% 정도 향상된다고 한다. Pytorch 2.0 Compile 모델 인퍼런스 테스트 torchvision에서 제공하는 기본적인 모델인 resnet50으로 p.. 2023. 10. 7.

[Model Inference] Torch-TensorRT 사용법 | 딥러닝 모델 최적화 및 인퍼런스 가속화 Torch-TensorRT는 PyTorch와 NVIDIA의 TensorRT를 통합하여 딥러닝 모델을 최적화하고 가속화하는 데 사용되는 PyTorch/TorchScript/FX용 컴파일러이다. Torch-TensorRT는 PyTorch 익스텐션으로 동작하며 JIT(Just In Time) 런타임에 원할하게 통합되는 모듈을 컴파일한다. NVIDIA TensorRT는 NVIDIA GPU에서 모델을 더 빠르게 실행하기 위한 최적화된 런타임 엔진으로, 특히 딥 러닝 모델을 배포 환경에서 더 효율적으로 실행하고 추론(inference) 성능을 향상시키는 데 사용된다. 기존에 파이썬으로 TensorRT를 사용하기 위해서는 오픈소스 커뮤니티에서 개발한 torch2trt 패키지를 사용해서 pytorch 모델을 tenso.. 2023. 10. 2.

이전 1 2 3 4 5 6 7 ··· 15 다음

티스토리툴바