프로그래밍/hadoop13 zeppelin-0.8.1 설치 삽질(with elasticsearch) 회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l.. 2019. 7. 15. HDFS 데이터를 REMOTE HDFS로 COPY 할 때 hadoop distcp 위와 같은 명령을 쓰면 일반적으로 복사가 된다. 하지만 잘 복사하다가 가끔 문제가 생긴다.Error: java.io.IOException: File copy failed: hdfs://devnodem:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 --> hdfs://10.10.82.223:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:287) at org.a.. 2018. 11. 15. HA 구성 클러스터에서 발생한 Journal Node 오류 Test Cluster 에서 HA를 구성 했는데 뜬금없이 NameNode가 죽고 StandbyNamenode가 Namenode로 전환되는 일이 있었다.일단 원인은java.lang.Thread.run(Thread.java:745) Number of suppressed write-lock reports: 0 Longest write-lock held interval: 22184 Write-lock 이 걸린 것이다. 그로 인해org.apache.hadoop.ipc.RemoteException(java.io.IOException): IPC's epoch 10 is less than the last promised epoch 11 at org.apache.hadoop.hdfs.qjournal.server.Jour.. 2018. 11. 15. Fix Under-replicated blocks in HDFS manually su - bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files -bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; done 2018. 11. 15. Old Version HDP 삭제 HDP 업그레이드 후 오래된 버젼 삭제 (CentOS 기준)yum erase `yum list | grep -P 2.5.0.0-1245 | awk '{ print $1 }'` 2018. 11. 15. Ambari를 통한 업데이트 시 발생한 문제 Ambari를 통해서 업데이트 할 경우 유효성(?) 체크를 하는데.. 이게 완료 되지 않으면 업데이트가 진행이 안됀다... 하지만 상당히 귀찮은 작업도 많고 업데이트에 영향을 끼치지 않는 것들도 있다. 때문에 ambari 설정에서/etc/ambari-server/conf/ambari.properties stack.upgrade.bypass.prechecks=true 로 해주면 최초 유효성을 그냥 Pass 할 수 있다. 2018. 11. 15. 이전 1 2 3 다음
