zeppelin-0.8.1 설치 삽질(with elasticsearch)

회사에 신규 CDH Hadoop을 설치 하였다.

당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서

실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서...

흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서

이번에 그냥 zeppelin을 설치 해보기로 했다.

일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행

실행은 잘된다. 하지만 문제점들이 발생

1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다.

• 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-lang3-3.5 인가를 쓰고 있어서 충돌로 인한 문제이다.
• 해결 방법 : zeppeiln 소스 버젼을 받아서 제 빌드 해야 한다.
  zeppelin-zengine :
  zeppelin-interpreter :
  위 두 폴더에 pom.xml에서 버젼을 3.7로 해서 빌드

인고의 시간이 흐르고...

2. elasticsearch와 spark와 연동이 안됨.

• 원인 : commons-httpclient가 CDH Spark jars 폴더안에 없기 대문에 발생
• 해결 방법 : CDH Spark가 설치 되어 있는 폴더에 common-httpclient 를 모두 심볼릭 링크를 걸어 주면 됨

3. spark.sql의 동작되다 안돼다 오류

• 원인 : 정확한 원인은 모르겠다. 되었다 안돼었다 하는 현상이 발생
• 에러 로그 : java.lang.NoSuchMethodError: com.facebook.fb303.FacebookService$Client.sendBaseOneway(Ljava/lang/String;Lorg/apache/thrift/TBase;)V
• 해결 방법 : https://community.hortonworks.com/questions/191361/exception-nosuchmethoderror-trying-to-run-ml-examp.html

Exception (noSuchMethodError) trying to run ML examples in zeppelin - Hortonworks

지금까지는 문제점들을 해결 했으나...

분석가 한분이 갑자기 결과가 다르게 나온다고 이야기 하셨다... 헛... 설마...

아직 재현이 안되긴 했지만....

사사로운 버그가 있는 거 같기도 하다.

zeppeiln 새로운 버젼도 나오지 않고 있고...

 

아직까지는 무리 없이 쓰고 있다.