Devops/Airflow

Airflow 에 Slack API 연동 방법연동 방법으로는 크게 3가지 방법이 있는 것 같습니다. 아래 방법 중 세 번째 방법으로 연동을 해보았습니다.직접 Slack Python Class / Method 를 생성하여 호출Airflow Connection - HTTP webhook / Slack Incoming Webhook 연계Airflow Connection - Slack API 연계Airflow Connection - Slack API 연계Airflow 메뉴 중 하나인 'Admin' 에서 Connections 메뉴을 제공합니다.  Add a new record 를 눌러줍니다. Connection Id: slack_api_default   *이름을 동일하게 설정해주셔야합니다Connection Typ..

(참고) Airflow 환경Airflow: 2.9.2Python: 3.12.4DAG (Python) 생성Airflow 설치 시 만들었던, /dag 디렉토리에 python dag 파일을 생성하면 됩니다.30초 후에 자동으로 리프레시 되기도 하고, 저같은 경우에는 container 를 restart 해서 바로 반영해주기도 합니다.docker restart airflow dag 파일이 생성되고 정상적으로 로드되면 airflow scheduler 가 dag 파일을 해석하여 queue 에 전달하게 됩니다.airflow worker 는 queue 에 쌓인 task 를 수행하게 됩니다 # dags/dag_example.pyfrom airflow import DAGfrom airflow.operators.bash im..