hadoop
-
zeppelin-0.8.1 설치 삽질(with elasticsearch)프로그래밍/hadoop 2019. 7. 15. 11:15
회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l..
-
zeppelin, Elasticsearch 와 spark프로그래밍/Elasticserach 2019. 2. 28. 15:46
테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =..
-
HDFS 데이터를 REMOTE HDFS로 COPY 할 때프로그래밍/hadoop 2018. 11. 15. 11:05
hadoop distcp 위와 같은 명령을 쓰면 일반적으로 복사가 된다. 하지만 잘 복사하다가 가끔 문제가 생긴다.Error: java.io.IOException: File copy failed: hdfs://devnodem:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 --> hdfs://10.10.82.223:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:287) at org.a..
-
HA 구성 클러스터에서 발생한 Journal Node 오류프로그래밍/hadoop 2018. 11. 15. 11:02
Test Cluster 에서 HA를 구성 했는데 뜬금없이 NameNode가 죽고 StandbyNamenode가 Namenode로 전환되는 일이 있었다.일단 원인은java.lang.Thread.run(Thread.java:745) Number of suppressed write-lock reports: 0 Longest write-lock held interval: 22184 Write-lock 이 걸린 것이다. 그로 인해org.apache.hadoop.ipc.RemoteException(java.io.IOException): IPC's epoch 10 is less than the last promised epoch 11 at org.apache.hadoop.hdfs.qjournal.server.Jour..
-
Ambari UnKnown Host 에러프로그래밍/hadoop 2018. 11. 15. 10:48
가끔 ambari를 사용하다가 node를 추가 후 제거 할때 ambari가 제거된 host를 계속 있는 줄 알고 에러를 발생시키는 경우가 있다. 시스템 상으로 큰 장애는 없으나 상당히 에러 alert을 본다는 것이 상당히 거슬리는 일이다. - psql로 접속 psql --host= --username=ambari Default password: bigdata ==> database 보기 \l ==> 테이블 보기 \dt ==> hosts 테이블에서 불필요 host 삭제 ==> hoststate 테이블에서 먼저 삭제 ==> alert_current에서 삭제 ==> alert_history에서 삭제 안함 할까? 다 지워 줘야 함
-
Ambari metrics collector ERROR프로그래밍/hadoop 2018. 11. 15. 10:47
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /ams-hbase-unsecure/meta-region-server at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:1155) at org.apache.hadoop.hbase.zookeeper.RecoverableZooKe..
-
HiveServer Too many open file error프로그래밍/hive 2018. 1. 24. 15:17
얼마전에 잘 운영 중인 hiveserver에서 에러가 발생했다. cluster 상태로는 모든게 정상이었지만 hiveserver를 통한 application이 장애가 발생했다. HDFS 내에 있는 파일들을 읽어 들이지 못하는 현상이었는데... 처음에는 HA에 문제가 발생한 것이라고 생각했다. 하지만 hiveserver2.log를 확인해 보니 java.io.IOException: Too many open files at sun.nio.ch.IOUtil.makePipe(Native Method) at sun.nio.ch.EPollSelectorImpl.(EPollSelectorImpl.java:65) at sun.nio.ch.EPollSelectorProvider.openSelector(EPollSelecto..
-
HBASE 설정프로그래밍/hbase 2017. 12. 28. 11:41
HBASE 설정현재 IDC에 운영중인 hadoop 클러스트에서 HBASE 기반의 피닉스를 같이 운영하다보니 여러가지 문제가 발생하고 있다. 가장 큰 문제는 HBase RegionServer가 자꾸 죽는 다는 것이다. 원인은 메모리!! Node Manager랑 Region Server를 같이 쓰다 보니 메모리가 절대 부족... 어떻게 공유 하면서 최적으로 사용 할 수 있을까... The JVM is doing a long running garbage collecting which is pausing every threads (aka "stop the world"). Since the RegionServer’s local ZooKeeper client cannot send heartbeats, the ses..