• 분류 전체보기 (178)
    • docker & k8s (23)
      • docker (8)
      • kubernetes (6)
      • helm chart (6)
    • 데이터처리 (130)
      • 구글시트-엑셀 (6)
      • Airflow (26)
      • DBMS (6)
      • Kafka (5)
      • Flink (32)
      • Hive (33)
      • ElasticSearch (2)
      • Hadoop (13)
      • MongoDB (1)
      • Duckdb (4)
      • Jupyter (1)
      • 데이터 기타 (1)
    • 개발 (13)
      • python (3)
      • java (4)
      • flutter (1)
      • 앱개발 (ios, 안드) (2)
      • 개발 기타 (2)
    • OS (8)
      • linux (6)
      • mac os (2)
    • 기타 (2)
본문 바로가기 메뉴 바로가기

정선생의 데이터 팡팡

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

정선생의 데이터 팡팡

검색하기 폼
  • 분류 전체보기 (178)
    • docker & k8s (23)
      • docker (8)
      • kubernetes (6)
      • helm chart (6)
    • 데이터처리 (130)
      • 구글시트-엑셀 (6)
      • Airflow (26)
      • DBMS (6)
      • Kafka (5)
      • Flink (32)
      • Hive (33)
      • ElasticSearch (2)
      • Hadoop (13)
      • MongoDB (1)
      • Duckdb (4)
      • Jupyter (1)
      • 데이터 기타 (1)
    • 개발 (13)
      • python (3)
      • java (4)
      • flutter (1)
      • 앱개발 (ios, 안드) (2)
      • 개발 기타 (2)
    • OS (8)
      • linux (6)
      • mac os (2)
    • 기타 (2)
  • 방명록

Operator (1)
[AIRFLOW] BashOperator 에서 시스템 환경변수가 로딩안되는 문제 - env 지정시

airflow 를 기동할때 편의를 자주쓰는 유틸리티나 스크립트를 PATH 환경변수에 정의하고 데몬을 기동하여 사용하는 경우가 있다. 예를 들어, /home/user/foo/script 라는 경로에 내가 편의를 위해 만든 쉘스크립트를 넣고, PATH 환경변수에 지정해서 잘 쓰고 있었는데, BashOperator 에서 env 옵션을 사용하면 이상하게 해당 스크립트를 찾지 못하는 문제가 발생했다. # export PATH=$PATH:/home/user/foo/script 가 시스템환경변수에는 존재함 ## 이 녀석은 잘 실행되는데 BashOperator( task_id='t1', bash_command='myscript.sh', ) ## 이 녀석에서는 myscript.sh 를 찾지 못한다 BashOperator..

데이터처리/Airflow 2023. 12. 11. 00:00
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG
  • docker
  • airflow
  • UDF
  • 하이브
  • Flink
  • 오류
  • hdfs
  • Python
  • hive
  • Kafka
more
«   2026/02   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
글 보관함

Blog is powered by Tistory / Designed by Tistory

티스토리툴바