elasticsearch
-
zeppelin-0.8.1 설치 삽질(with elasticsearch)프로그래밍/hadoop 2019. 7. 15. 11:15
회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l..
-
zeppelin, Elasticsearch 와 spark프로그래밍/Elasticserach 2019. 2. 28. 15:46
테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =..
-
ElasticSearch unassigned_shard 발생 시프로그래밍/Elasticserach 2018. 11. 15. 10:35
엘라스틱서치가 비정상적으로 종료 되거나 내부 데이터에 문제가 생길경우unaasinged_shards 가 발생한다.지난번에 비정상적으로 Elasticsearch가 종료되어서 발생하였고cluster 상태가 yellow에서 green으로 바뀌지 않는 현상이 발생했다.해결방법은 클러스터를 차례로 재시작하는 방법(하지만 잘 되지 않는다.)강제로 ressign을 해주는 방법이 있다.명령어는curl -XPUT 'http://localhost:9200/_cluster/settings' -d '{ "transient": { "cluster.routing.allocation.enable" : "all" }}' 해주면 시간이 소요 되지만정상화 된다.
-
ElasticSearch window 10 설치 시 'common은 예상되지 않았습니다. 오류'프로그래밍/Elasticserach 2018. 9. 6. 14:03
ElasticSearch 를 윈도우에 설치하여 사용해야 할 일이 발생하였다. 그냥 홈페이지가서 zip 파일 다운 받고 실행하면 된다고!!! 홈페이지에는 나와 있다. 하지만 막상 압축을 풀고 bin/elasticsearch.bat를 실행 시키면 Common은 예상되지 않았습니다. 란 에러가 발생한다. 원인을 찾아 보니 그놈의 java PATH가 문제다. elasticsearch.bat 파일을 들여다 보면 %JAVA% 로 된 PATH에서 실행한다. echo %JAVA% 명령을 수행하면 "C:\Program Files (x86)\Common Files\Oracle\Java\javapath\java.exe" 위와 같이 디폴트로 전혀 있지 않은 JAVA PATH를 보고 있다. 그럼 문제원인이 나왔으니 답은 쉽다...
-
SPARK ElasticSearch 연동프로그래밍/spark 2018. 1. 2. 18:27
SPARK ElasticSearch 연동Spark의 장점은 다른 Database와 연동이라고 볼수 있을 것이다.다른 DataBase의 데이터를 Spark로 가져와 빠르게 분석 할 수 있다.ElasticSearch과의 연동이 필요해서 관련된 글이다.zepplien notebook으로 연동한 것이다.ElasticSearch에서 데이터 가져오기//elastic search의 데이터를 가져와 DataFrame 형태로 만듬 //elastic search의 array타입은 string으로 넘어오는 듯 import org.apache.spark.sql.SparkSession import org.elasticsearch.spark._ import org.apache.spark.SparkConf import org.ap..