728x90 분류 전체보기175 [논문 리뷰] End-to-End Object Detection with Transformers | DETR 설명 오늘은 2020년에 Meta에서 공개한 DETR 모델(ECCV 2020)을 리뷰해 보고자 한다. 피 인용수가 9000회에 육박하며, 최근 공개되는 객체 검출 논문들을 보면 DETR 기반의 연구도 심심치 않게 볼 수 있다. Deformable DETR, Conditional DETR, Group DETR, Co-DETR, ... DETR (DEtection TRansformer) DETR은 트랜스포머와 이분 매칭(Bipartite-matching) 기반의 새로운 검출 방식을 도입하여 RPN, NMS와 같은 hand-crafted 한 엔지니어링이 필요없는 모델 구조라고 한다. 구조적으로 굉장히 간단하면서 다른 task에 대한 확장성도 좋고, 어텐션 메커니즘을 이용하기 때문에 큰 객체를 검출 능력이 Faste.. 2023. 11. 25. [Airflow] DB 쿼리의 결과를 감시하고, 특정 조건이 충족될 때까지 작업을 일시 중지하는 기능 | SqlSensor Apache Airflow의 SqlSensor는 데이터베이스 쿼리의 결과를 감시하고, 특정 조건이 충족될 때까지 작업을 일시 중지하는 역할을 합니다. 이 센서는 주로 데이터베이스 쿼리의 결과를 확인하여 특정 값이나 조건이 충족되었는지를 확인하는 데 사용됩니다. SqlSensor 사용 방법 from airflow.sensors.sql import SqlSensor sql_sensor_task = SqlSensor( task_id='sql_sensor_task', conn_id='your_database_connection_id', # 데이터베이스 연결 ID sql='SELECT COUNT(*) FROM your_table WHERE your_condition;', # 감시할 쿼리 mode='poke', #.. 2023. 11. 20. [Airflow] 에어플로우 설치 및 웹 인터페이스 실행하기 1. Airflow 설치 pip install apache-airflow 2. Airflow 설정 cd airflow airflow db init mkdir dags 만들어진 airflow 폴더로 들어가서 db를 init 해주고 dags 폴더를 생성 airflow users create -u admin -p admin -f Clueless -l Coder -r Admin -e admin@admin.com 관리자 계정 생성 3. Airflow 실행 airflow webserver -p 8080 8080 포트로 에어플로우 실행 'localhost:8080' 로 접속 4. Airflow 웹 인터페이스 Apache Airflow 웹서버는 Airflow 워크플로우의 시각화, 모니터링 및 관리를 위한 사용자 인터페.. 2023. 11. 20. [Airflow] Python 함수 실행하기 | PythonOperator 사용 PythonOperator는 Apache Airflow에서 Python 함수를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 Python 함수를 호출하여 데이터 처리, 계산, 또는 사용자 지정 작업을 수행할 수 있다. 아래는 PythonOperator를 사용하는 간단한 예제이다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'python_operator_example', description='Example DAG with PythonOperator', schedule_inte.. 2023. 11. 19. [Airflow] 쉘 스크립트, 명령어 실행하기 | BashOperator 사용 BashOperator는 Apache Airflow에서 쉘 스크립트나 명령어를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 외부 프로그램, 스크립트 또는 명령어를 실행하고 결과를 확인할 수 있다. 다음은 BashOperator를 사용하는 간단한 예제로, 간단한 Bash 스크립트를 실행하고 출력을 로깅한다. from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'bash_operator_example', description='Example DAG with BashOperator', sched.. 2023. 11. 19. [Airflow] 일정한 간격으로 DAG 실행하기 (스케줄링) | schedule_interval | cron 기반 스케줄 Apache Airflow에서 DAG을 일정한 간격으로 실행하려면 schedule_interval 매개변수를 사용한다. 이 매개변수는 DAG이 실행될 주기를 나타내고, 주기는 timedelta 객체로 정의된다. 예를 들어, 매일 실행하려면 timedelta(days=1)과 같이 정의할 수 있다. timedelta를 사용하는 몇 가지 예제를 살펴보자. timedelta # 매일 실행 schedule_interval=timedelta(days=1) # 3일마다 실행 schedule_interval=timedelta(days=3) # 매주 월요일 실행 schedule_interval=timedelta(weeks=1, days=1) # 매시간 실행 schedule_interval=timedelta(hours=1.. 2023. 11. 19. 이전 1 2 3 4 5 6 7 ··· 30 다음 728x90
