728x90 Airflow3 Airflow 스케줄링 Airflow 스케줄러모든 작업, 모든 DAG모니티링하여 작업 인스턴스를 트리거DAG 개체 폴더를 모니터링하고 동기화하여 유지하여 정기적(1분)으로 트리거DAG 파일들 확인하여 작업, 스케줄링 간격들을 확인하여 처리Airflow 스케줄러 로그날짜 기준으로 자동으로 수집처리됨 스케줄러 자동기본적으로 UTC 기준으로 동작하므로 KST로 변경하여 사용해야함. 스케줄러 설정시간(UTC -> KST)간격 설정(Schedule_interval)DAGs 코드상에서 변경 스케줄링 Schedule_intervalStart_date : 시작할 시점end_date : 시작할 시점Schedule_interval : 스케줄 시간 시점 2024. 6. 16. Airflow 기본 예제 테스트 서버 dags 폴더에 example-pipeline.py 생성하여 코드 넣기 import textwrapfrom datetime import datetime, timedelta# The DAG object; we'll need this to instantiate a DAGfrom airflow.models.dag import DAG# Operators; we need this to operate!from airflow.operators.bash import BashOperatorwith DAG( "tutorial", # These args will get passed on to each operator # You can override them on a per-task basis dur.. 2024. 6. 16. Airflow 기본 설치 및 구성 전체 조건(airflow 2.9.2 기준 )파이썬 : 3.8 ~ 3.12데이터베이스 :Mysql 8.0. , mariaDB 지원XSQLite : 3.15.0 (프로덕션 사용 금지)kubernets : 1.26 ~ 1.29최소 메모리 : 4GB 지원 버전https://airflow.apache.org/docs/apache-airflow/stable/installation/supported-versions.html# Supported versions — Airflow Documentation airflow.apache.org AirFlow 설치 환경 : Python3.8.12 업데이트sudo apt update -y && sudo apt upgrade -y Python3.8 설치sudo apt instal.. 2024. 6. 16. 이전 1 다음 728x90
