[Airflow] logical_date 를 타임존에 맞게 변환해서 쓰기 : custom filter 추가

airlfow 에서 한국시간으로 사용하기위해서 은근히 번거로운일이 많다, start_date 에 타임존을 지정하고, 설정에 타임존을 지정하더라도 의도한 값을 뽑아내려면 logical_date 를 타임존에 맞춰 변환후 사용해야 제대로 값을 추출할 수 있는 경우가 많다.

근데 이걸 매번 DAG 코드에 넣는건 비효율적이기 때문에, Plugin 에 jinja template 으로 커스텀 필터를 추가해서 사용하는 방법을 제안한다.

 

커스텀 필터 추가하기

참고로 airflow 2.9.x , 2.10.x 버전에서 동작 테스트 했었고, plugins 폴더에 넣어주면 사용가능하다.

아래와 같이 커스텀 필터를 추가하면 jinja template 에서 쉽게 변환이 가능하다.

from airflow.plugins_manager import AirflowPlugin
from airflow.settings import TIMEZONE
from airflow import templates

class AirplantFilterPlugin(AirflowPlugin):
    name = "airflow_filter_plugin"

    custom_filters = {
        "basetime": lambda value: value.astimezone(TIMEZONE) if value else None,
        "basetime_str": lambda value: value.astimezone(TIMEZONE).strftime('%Y-%m-%d %H:%M:%S') if value else None,
        "yyyy": lambda value: value.strftime("%Y") if value else None,
        "mm": lambda value: value.strftime("%m") if value else None,
        "dd": lambda value: value.strftime("%d") if value else None,
        "time": lambda value: value.strftime("%H:%M:%S") if value else None,
        "time_nocolon": lambda value: value.strftime("%H%M%S") if value else None,
        "hh24": lambda value: value.strftime("%H") if value else None,
        "mi": lambda value: value.strftime("%M") if value else None,
        "ss": lambda value: value.strftime("%S") if value else None,
    }

    templates.FILTERS.update(custom_filters)

 

내가 만든 커스텀 필터 사용하기

이제 필터링을 아주 쉽게 할 수 있다.   airflow 의 기본적인 표현방법은 아래 주소에 정리되어있는데 이걸 확장한 개념이다.

https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html

 

즉, 타임존을 고려해서 YYYY-MM-DD 값을 추출한다면? 아래와 같은 표현을 사용하면 된다.

당연하지만, basetime , yyyy 같은 표현은 airflow 오피셜 버전에는 존재하지 않으며, 위와 같은 플러그인을 추가하면 사용가능하다.

# 타임존을 고려한 YYYY-MM-DD 값
{{ logical_date | basetime | ds }}

# 타임존을 고려한 YYYY 값
{{ logical_date | basetime | yyyy }}

# 타임존을 고려한 MM 값
{{ logical_date | basetime | mm }}

# 타임존을 고려한 DD 값
{{ logical_date | basetime | dd }}

 

이런식으로 타임존을 고려한 계산후 값을 쓰도록 한다면 문제가 없다.