티스토리 뷰
반응형
airflow 의 Quick Start 웹페이지에 보면 설치하고 airflow standalone 으로 가볍게 띄우려고 할때 아래와 같은 오류가 발생될때가 존재한다. 결론부터 말하면 서버의 sqlite 버전이 낮기 때문이다. 그래서 더 상위버전으로 업데이트 재설치가 필요하다.
https://airflow.apache.org/docs/apache-airflow/2.7.3/start.html
(py3) $ airflow standalone
Traceback (most recent call last):
File "/home/myuser/py3/bin/airflow", line 5, in <module>
from airflow.__main__ import main
File "/home1/myuser/py3/lib/python3.9/site-packages/airflow/__init__.py", line 52, in <module>
from airflow import configuration, settings
File "/home/myuser/py3/lib/python3.9/site-packages/airflow/configuration.py", line 2310, in <module>
conf.validate()
File "/home/myuser/py3/lib/python3.9/site-packages/airflow/configuration.py", line 722, in validate
self._validate_sqlite3_version()
File "/home/myuser/py3/lib/python3.9/site-packages/airflow/configuration.py", line 828, in _validate_sqlite3_version
raise AirflowConfigException(
airflow.exceptions.AirflowConfigException: error: SQLite C library too old (< 3.15.0). See https://airflow.apache.org/docs/apache-airflow/2.7.3/howto/set-up-database.html#setting-up-a-sqlite-database
해결방법
다음과 같이 sqlite 버전이 3.15 보다 높은버전을 설치하도록 하자.
wget https://www.sqlite.org/2023/sqlite-autoconf-3410200.tar.gz
tar xzf sqlite-autoconf-3410200.tar.gz
cd sqlite-autoconf-3410200
./configure
sudo make
sudo make install
그리고 다음과 같이 LD_LIBRARY_PATH 를 잡아준후 다시 실행하면 실패났던게 사라진다.
(py3) $ export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
(py3) $ airflow standalone
...
webserver | [2023-11-07 17:12:53 +0900] [115330] [INFO] Booting worker with pid: 115330
standalone | Airflow is ready
standalone | Login with username: admin password: HTDGS2F1np5nSyqW
standalone | Airflow Standalone is for development purposes only. Do not use this in production!
반응형
'데이터처리 > Airflow' 카테고리의 다른 글
[AIRFLOW] logical_date 의 개념 이해하기- execution_date 의 대체 (1) | 2023.12.05 |
---|---|
[AIRFLOW] ExternalTaskSensor 에서 스케쥴 단위가 다를때 의존성 거는법 (예: 10분->1시간) (0) | 2023.11.13 |
[airflow] Hive Metastore Thrift 연결 실패 사례별 정리 (kerberos 인증) (0) | 2023.07.19 |
[Airflow] MySQL 8 버전과 연동시 db init 에러 - 'caching_sha2_password' cannot be loaded (0) | 2023.04.28 |
[airflow.cfg] sql_alchemy_conn 의 escape 처리하기 - @ 가 있는 암호문제 (1) | 2023.04.14 |
댓글