본문 바로가기

💻 Programming/Python20

[pandas] DataFrame 설명 | 데이터 조작, 필터링, 시각화, 통계 분석 판다스(Pandas) 판다스(Pandas)는 파이썬에서 데이터 조작과 분석을 위한 라이브러리로, 특히 표 형식의 데이터를 다루기에 용이하다. 판다스의 주요 자료구조인 데이터프레임(DataFrame)은 행과 열로 이루어진 테이블 형식의 데이터를 다루기 위한 자료구조로 데이터를 다룰 때 자주 사용된다. 데이터프레임 생성 import pandas as pd # 2차원 리스트로 데이터프레임 생성 data = [ ['Alice', 25, 'New York'], ['Bob', 30, 'San Francisco'], ['Charlie', 35, 'Los Angeles'] ] df = pd.DataFrame(data, columns=['Name', 'Age', 'City']) 판다스의 pd.DataFrame() 함수를.. 2023. 11. 16.

[pandas] 2차원 리스트를 데이터프레임으로 변환하기 | pd.DataFrame 데이터 파일이 콤마나 탭으로 구분된 csv, tsv 등의 파일 형태이면, pd.read_csv(file_path) 또는 pd.read_table(file_path, sep='\t') 을 파일을 읽어 바로 데이터프레임으로 사용할 수 있다. 하지만, 간혹 비정형 데이터를 테이블 형태로 가공 후 데이터프레임으로 변환하고 싶을 때가 있는데, 생각보다 매우 간단하다. pd.DataFrame()을 사용하고, columns 만 지정해주면 된다. 2차원 리스트 → 데이터프레임 변환 예시 import pandas as pd # 2차원 리스트 data = [ ['Alice', 25, 'New York'], ['Bob', 30, 'San Francisco'], ['Charlie', 35, 'Los Angeles'] ] # .. 2023. 11. 16.

[python] 구글 검색 이미지 크롤링/스크래핑하기 구글 검색 결과 이미지를 파이썬으로 크롤링하는 방법을 정리한다. Selenium 우선 웹크롤링/스크래핑을 하는 경우 주로 Selenium이라는 패키지를 사용하기에 간단히 알아보고 지나가자. Selenium은 웹 애플리케이션을 테스트하거나 자동화하는 데 사용되는 프레임워크이다. 주로 웹 브라우저와 상호 작용하며, 웹 페이지를 제어하고 테스트하는 데 유용한 도구로, 다양한 프로그래밍 언어로 지원되며, 웹 페이지의 요소를 찾고 조작할 수 있어 웹 스크래핑 또는 웹 자동화에 활용된다. from selenium import webdriver # 웹 드라이버 설정 driver_path = "경로/chromedriver" # 다운로드한 ChromeDriver의 경로 driver = webdriver.Chrome(ex.. 2023. 8. 15.

[python] FastAPI로 딥러닝 모델 API 구축하기 | 문자열 파일경로, Bytes 타입 입력받기 FastAPI를 이용한 API 생성 from typing import List from pydantic import BaseModel from fastapi import FastAPI, Depends, File, Request import uvicorn app = FastAPI() class InputData(BaseModel): data: str @app.on_event("startup") async def load_ai_model(): global model model = My_Model() print("AI Model Loaded") async def parse_body(request: Request): data: bytes = await request.body() return data @app.p.. 2023. 8. 3.

curl 커맨드를 python, javascript 등의 언어로 변환 | curl 커맨드 api를 파이썬 코드로 변환할 때 curl 커맨드 curl은 명령 줄 인터페이스를 통해 URL을 통해 데이터를 전송하거나 받는 기능을 제공하는 도구이다. 다양한 프로토콜을 지원하며, HTTP, HTTPS, FTP, SFTP, SMTP, POP3 등 다양한 프로토콜을 사용하여 데이터를 전송할 수 있다. 가끔 curl 커맨드 형태의 api를 파이썬 등의 다른 프로그래밍 언어로 사용하고 싶을 때가 있는데, 아래 사이트에서 curl 커맨드를 다양한 언어로 바로 변환해줘서 굉장히 편리하다. Convert curl commands to code GitHub is matching all contributions to this project on GitHub Sponsors. Contribute Now curlconverter.com 빨간 박스에 cu.. 2023. 7. 11.

LMDB 형식 데이터셋이란? | 텍스트 인식 데이터셋 포맷 LMDB (Lightning Memory-Mapped Database) lmdb는 Lightning Memory-Mapped Database의 약자로, embedded key-value 데이터베이스 엔진이다. lmdb는 파일 시스템에 저장된 데이터를 메모리에 매핑하여 데이터를 효율적으로 읽고 쓸 수 있도록 한다. 이는 빠른 읽기와 쓰기, 쓰레드 안전성, 낮은 메모리 사용량 등의 장점을 가지고 있어, 대규모 데이터셋을 처리할 때 매우 효율적이다. lmdb 데이터베이스는 키-값 쌍의 형태로 데이터를 저장하는데, 여기서 키는 고유한 문자열이며, 값은 이 문자열에 연관된 데이터입니다. 이러한 특징은 텍스트 인식 분야에서 매우 유용하다. 예를 들어, 이미지와 해당 이미지에 포함된 텍스트 라벨(GT)을 저장하는 데.. 2023. 4. 14.

이전 1 2 3 4 다음

티스토리툴바