[하둡] Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections 문제 해결하기

내가 겪은 케이스는 A 클러스터환경에서, B 클러스터에 붙을수 있도록 nameservice 를 추가후, B클러스터에 붙을때 나타났던 현상이다. 베이스가 되는 hadoop config 은 커버로스 인증을 써야하는 형태로 세팅이 되어있다보니, 인증이 없는 클러스터를 접속하려고 할때, 다른 두 환경에서 세팅이 충돌난 문제이다.

• A 하둡 클러스터 (커버로스 인증필요)
• B 하둡 클러스터 (인증 없음)

예를 들면, 오류메시지는 아래와 같다.

# -----------------------------
# A 클러스터 접근 (커버로스 인증 필요)
# -----------------------------
$ kinit -kt /user1/airflow/airflow.keytab airflow@AHADOOP.MYHOME.COM
$ hadoop fs -ls hdfs://a-hadoop/user/airflow
Found 2 items
drwx------   - airflow hdfs          0 2022-09-25 03:00 .Trash
-rw-r--r--   3 airflow hdfs          6 2022-08-02 18:30 sample.txt

# -----------------------------
# B 클러스터 접근 시도 (인증필요없음, 실패)
# -----------------------------
$ hadoop fs -ls hdfs://b-hadoop/data/sample/2021-01-01
ls: Call From hadoop-client.myhome.com/10.1.1.2 to b-hadoop-master-01.myhome.com:8020 failed: Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections.

해결방안

해결방법은 명령어를 실행할때 "ipc.client.fallback-to-simple-auth-allowed=true" 옵션을 추가해서 실행하면 된다.

 

$ hadoop fs  -Dipc.client.fallback-to-simple-auth-allowed=true -ls hdfs://b-hadoop/data/sample/2021-01-01
Found 4 items
drwxr-xr-x   - sample hdfs          0 2021-01-02 20:15 hdfs://b-hadoop/data/sample/2021-01-01/1.output
drwxr-xr-x   - sample hdfs          0 2021-01-02 20:16 hdfs://b-hadoop/data/sample/2021-01-01/2.output
drwxr-xr-x   - sample hdfs          0 2021-01-02 20:18 hdfs://b-hadoop/data/sample/2021-01-01/3.output
drwxr-xr-x   - sample hdfs          0 2021-01-02 20:20 hdfs://b-hadoop/data/sample/2021-01-01/4.output

물론 nameservice 를 묶지 않고, 별도의 설정으로 관리해서 HADOOP_CONF_DIR 환경변수를 변경해서 사용하는것도 방법이긴 하다.

그럼 아예 다른 설정파일을 사용하기 때문에 이런일이 일어나지 않는다.

 

하지만, nameservice 를 등록해서 활용해야, 사용하기도 편하고 HA 도 고려해서, master 노드의 active/standby 상태에 따라 다른 ip 를 써야하는 불편함도 해결된다. nameservice 를 묶는방법은 아래 링크를 참고하도록 하자.

2021.11.18 - [데이터처리/Hadoop] - [팁] 다른 hdfs 클러스터의 nameservice 등록하는 방법