elasticsearch5 zeppelin-0.8.1 설치 삽질(with elasticsearch) 회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l.. 2019. 7. 15. zeppelin, Elasticsearch 와 spark 테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =.. 2019. 2. 28. ElasticSearch unassigned_shard 발생 시 엘라스틱서치가 비정상적으로 종료 되거나 내부 데이터에 문제가 생길경우unaasinged_shards 가 발생한다.지난번에 비정상적으로 Elasticsearch가 종료되어서 발생하였고cluster 상태가 yellow에서 green으로 바뀌지 않는 현상이 발생했다.해결방법은 클러스터를 차례로 재시작하는 방법(하지만 잘 되지 않는다.)강제로 ressign을 해주는 방법이 있다.명령어는curl -XPUT 'http://localhost:9200/_cluster/settings' -d '{ "transient": { "cluster.routing.allocation.enable" : "all" }}' 해주면 시간이 소요 되지만정상화 된다. 2018. 11. 15. ElasticSearch window 10 설치 시 'common은 예상되지 않았습니다. 오류' ElasticSearch 를 윈도우에 설치하여 사용해야 할 일이 발생하였다. 그냥 홈페이지가서 zip 파일 다운 받고 실행하면 된다고!!! 홈페이지에는 나와 있다. 하지만 막상 압축을 풀고 bin/elasticsearch.bat를 실행 시키면 Common은 예상되지 않았습니다. 란 에러가 발생한다. 원인을 찾아 보니 그놈의 java PATH가 문제다. elasticsearch.bat 파일을 들여다 보면 %JAVA% 로 된 PATH에서 실행한다. echo %JAVA% 명령을 수행하면 "C:\Program Files (x86)\Common Files\Oracle\Java\javapath\java.exe" 위와 같이 디폴트로 전혀 있지 않은 JAVA PATH를 보고 있다. 그럼 문제원인이 나왔으니 답은 쉽다... 2018. 9. 6. SPARK ElasticSearch 연동 SPARK ElasticSearch 연동Spark의 장점은 다른 Database와 연동이라고 볼수 있을 것이다.다른 DataBase의 데이터를 Spark로 가져와 빠르게 분석 할 수 있다.ElasticSearch과의 연동이 필요해서 관련된 글이다.zepplien notebook으로 연동한 것이다.ElasticSearch에서 데이터 가져오기//elastic search의 데이터를 가져와 DataFrame 형태로 만듬 //elastic search의 array타입은 string으로 넘어오는 듯 import org.apache.spark.sql.SparkSession import org.elasticsearch.spark._ import org.apache.spark.SparkConf import org.ap.. 2018. 1. 2. 이전 1 다음
