티스토리 뷰
반응형
커버로스 기반으로 하둡 클러스터를 관리하고 유저권한을 keytab 으로 관리하다보면, 별도의 유저별로 바꿔서 실행해야 하는 경우가 종종 있다. 그런데 이상하게 아래와 같은 오류가 발생할 때가 있는데, 원인은 HADOOP_PROXY_USER 를 사용하지 않는 상황인데, 해당 값이 지정된 경우 발생된다.
% hadoop fs -ls
ls: User: flink@MY.HOME.SERVER.COM is not allowed to impersonate sample
해결방법
권한관리를 하다보면, 여러케이스의 유저권한이 존재할 수 있는데, 유저 여러개의 권한을 하나에 부여하고, HADOOP_PROXY_USER 를 지정해서 유저를 지정해서 해당 권한으로 사용하는게 가능하다. 일종의 슈퍼키(?) 처럼 큰 권한을 받은 녀석인데...
문제는 딴 커버로스 인증 아이디로 변경후, HADOOP_PROXY_USER 값이 유지되어있어서, 프록시 유저로 변경할수 없어서 나타난 오류다. 이런경우는 명시적으로 지정했던 환경변수값을 unset 을 통해 해제후 실해아하면 아래와 같이 실행가능하다.
% hadoop fs -ls hdfs://myNameService
ls: User: flink@MY.HOME.SERVER.COM is not allowed to impersonate sample
% echo $HADOOP_PROXY_USER
sample
% unset HADOOP_PROXY_USER
% hadoop fs -ls hdfs://myNameService
Found 13 items
...
drwxrwxrwx - hdfs hdfs 0 2023-03-07 18:41 hdfs://myNameService/tmp
drwxr-xr-x - hdfs hdfs 0 2022-12-02 17:06 hdfs://myNameService/warehouse
반응형
'데이터처리 > Hadoop' 카테고리의 다른 글
| [HDFS] 다른 클러스터의 nameservice 를 동적으로 추가하기 - distcp (0) | 2023.12.04 |
|---|---|
| [Hadoop] HDFS 파일생성 여부 체크방법 (loop 돌면서) (0) | 2023.05.23 |
| [하둡] Can't get Kerberos realm 오류 해결법 - krb5.conf 경로문제 (0) | 2023.03.08 |
| [하둡] Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections 문제 해결하기 (0) | 2022.10.04 |
| [YARN] cannot be cast to com.google.protobuf.Message 오류 (0) | 2022.09.20 |
댓글