[Flink] Hive Catalog 생성 오류 : org.apache.flink.table.catalog.exceptions.CatalogException: Failed to create Hive Metastore client

참고로 이 문제는 Flink 1.14.x 버전대에서 JDK11 버전을 이용할때 아래와 같은 문제가 발생된다.

나같은 경우 hadoop 2.6.x 버전에 hive 2.3.6 을 사용하는데, JDK 호환성의 영향이 존재했었다.

https://issues.apache.org/jira/browse/HIVE-22415

https://issues.apache.org/jira/browse/HADOOP-12760

$ java -version
openjdk version "11.0.13" 2021-10-19 LTS
OpenJDK Runtime Environment 18.9 (build 11.0.13+8-LTS)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.13+8-LTS, mixed mode, sharing)
$ ./bin/sql-client.sh

Flink SQL> CREATE CATALOG myHive with (
>  'type' = 'hive',
>  'hive-conf-dir' = '/user/gildong/hive/conf'
> );
> 
[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.catalog.exceptions.CatalogException: Failed to create Hive Metastore client

해결방법

JDK8 버전을 사용하면 해결이 된다. 임의의 경로에 jdk8 을 설치하고, 해당 경로를 JAVA_HOME 으로 잡아서 구성하면 된다.

$ JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64
$ export PATH=$JAVA_HOME/bin:$PATH
$ java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
$ ./bin/sql-client.sh

Flink SQL> CREATE CATALOG myHive with (
>  'type' = 'hive',
>  'hive-conf-dir' = '/user/gildong/hive/conf'
> );
> 
[INFO] Execute statement succeed.

기냥 hadoop 환경의 jdk 버전과 맞추는걸 추천한다.