프로그래밍/Elasticserach4 zeppelin, Elasticsearch 와 spark 테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =.. 2019. 2. 28. ElasticSearch unassigned_shard 발생 시 엘라스틱서치가 비정상적으로 종료 되거나 내부 데이터에 문제가 생길경우unaasinged_shards 가 발생한다.지난번에 비정상적으로 Elasticsearch가 종료되어서 발생하였고cluster 상태가 yellow에서 green으로 바뀌지 않는 현상이 발생했다.해결방법은 클러스터를 차례로 재시작하는 방법(하지만 잘 되지 않는다.)강제로 ressign을 해주는 방법이 있다.명령어는curl -XPUT 'http://localhost:9200/_cluster/settings' -d '{ "transient": { "cluster.routing.allocation.enable" : "all" }}' 해주면 시간이 소요 되지만정상화 된다. 2018. 11. 15. ElasticSearch window 10 설치 시 'common은 예상되지 않았습니다. 오류' ElasticSearch 를 윈도우에 설치하여 사용해야 할 일이 발생하였다. 그냥 홈페이지가서 zip 파일 다운 받고 실행하면 된다고!!! 홈페이지에는 나와 있다. 하지만 막상 압축을 풀고 bin/elasticsearch.bat를 실행 시키면 Common은 예상되지 않았습니다. 란 에러가 발생한다. 원인을 찾아 보니 그놈의 java PATH가 문제다. elasticsearch.bat 파일을 들여다 보면 %JAVA% 로 된 PATH에서 실행한다. echo %JAVA% 명령을 수행하면 "C:\Program Files (x86)\Common Files\Oracle\Java\javapath\java.exe" 위와 같이 디폴트로 전혀 있지 않은 JAVA PATH를 보고 있다. 그럼 문제원인이 나왔으니 답은 쉽다... 2018. 9. 6. ES-Hadoop(1) Hadoop 과 Elasticsearch를 연결하여 사용하기 위한 방법 1. elasticsearch on yanr => Hadoop yarn cluster 안에 elasticsearch가 동작 하도록 하는 방식 (현재 사용 목적에 부합하지도 않고 Beta version 이므로 Pass) 2. elasticsearch for apache hadoop => 독립된 elasticserch cluster 와 hadoop cluster 사이를 driver를 통해 연결하여 사용 %4년 전에 mongo-hadoop 을 잠시 이용한 적이 있었다. 결론은 엄청난 I/O 부하와 network 부하로 인해 별로 유용하게 사용하지 못했던 기억이 있다. 그 때는 한 대의 MongoDB에서 무식한 짓을 했던 거긴 하지만.. E.. 2016. 8. 2. 이전 1 다음
