• 분류 전체보기 (178)
    • docker & k8s (23)
      • docker (8)
      • kubernetes (6)
      • helm chart (6)
    • 데이터처리 (130)
      • 구글시트-엑셀 (6)
      • Airflow (26)
      • DBMS (6)
      • Kafka (5)
      • Flink (32)
      • Hive (33)
      • ElasticSearch (2)
      • Hadoop (13)
      • MongoDB (1)
      • Duckdb (4)
      • Jupyter (1)
      • 데이터 기타 (1)
    • 개발 (13)
      • python (3)
      • java (4)
      • flutter (1)
      • 앱개발 (ios, 안드) (2)
      • 개발 기타 (2)
    • OS (8)
      • linux (6)
      • mac os (2)
    • 기타 (2)
본문 바로가기 메뉴 바로가기

정선생의 데이터 팡팡

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

정선생의 데이터 팡팡

검색하기 폼
  • 분류 전체보기 (178)
    • docker & k8s (23)
      • docker (8)
      • kubernetes (6)
      • helm chart (6)
    • 데이터처리 (130)
      • 구글시트-엑셀 (6)
      • Airflow (26)
      • DBMS (6)
      • Kafka (5)
      • Flink (32)
      • Hive (33)
      • ElasticSearch (2)
      • Hadoop (13)
      • MongoDB (1)
      • Duckdb (4)
      • Jupyter (1)
      • 데이터 기타 (1)
    • 개발 (13)
      • python (3)
      • java (4)
      • flutter (1)
      • 앱개발 (ios, 안드) (2)
      • 개발 기타 (2)
    • OS (8)
      • linux (6)
      • mac os (2)
    • 기타 (2)
  • 방명록

taskgroup (1)
Airflow 의존성 사용 방법 알아보기 : set_upstream / set_downstream / task_group

airflow 에서 DAG 의 의존성을 거는 방법은 task 의 set_upstream / set_downstream 메소드를 사용하는 방법이 있다.하지만, 실제는 연산자 오버로딩이된 >> 혹은 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html 그런데, 다음과 같은 의존성을 만들때, task a, b, c 를 표현하기위해 변수에 대입하여 거는 실수를 하면 안된다. 변수 대입을 잘못써서 의존성을 건 케이스위와 같은 DAG 를 그릴때 아래와 같이 변수에 대입하여 잘못 의존성을 거는 실수를 할 수 있다.아래와 같이 대입하여 DAG 를 그리면 어떻게 나올까?mport datetimeimport pendulumfrom ai..

데이터처리/Airflow 2025. 3. 31. 19:00
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG
  • 하이브
  • Kafka
  • hdfs
  • Flink
  • hive
  • UDF
  • 오류
  • docker
  • Python
  • airflow
more
«   2026/05   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
글 보관함

Blog is powered by Tistory / Designed by Tistory

티스토리툴바