본문 바로가기

분류 전체보기282

Fix Under-replicated blocks in HDFS manually su - bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files -bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; done 2018. 11. 15.
HBase Thrift Daemon HBase에 외부 접근하기 위해서는 Thrift Daemon을 실행 시켜 줘야 한다./usr/hdp/current/hbase-master/bin/hbase-daemon.sh start thrift -p port --infoport infoport 2018. 11. 15.
Old Version HDP 삭제 HDP 업그레이드 후 오래된 버젼 삭제 (CentOS 기준)yum erase `yum list | grep -P 2.5.0.0-1245 | awk '{ print $1 }'` 2018. 11. 15.
Ambari를 통한 업데이트 시 발생한 문제 Ambari를 통해서 업데이트 할 경우 유효성(?) 체크를 하는데.. 이게 완료 되지 않으면 업데이트가 진행이 안됀다... 하지만 상당히 귀찮은 작업도 많고 업데이트에 영향을 끼치지 않는 것들도 있다. 때문에 ambari 설정에서/etc/ambari-server/conf/ambari.properties stack.upgrade.bypass.prechecks=true 로 해주면 최초 유효성을 그냥 Pass 할 수 있다. 2018. 11. 15.
Ambari UnKnown Host 에러 가끔 ambari를 사용하다가 node를 추가 후 제거 할때 ambari가 제거된 host를 계속 있는 줄 알고 에러를 발생시키는 경우가 있다. 시스템 상으로 큰 장애는 없으나 상당히 에러 alert을 본다는 것이 상당히 거슬리는 일이다. - psql로 접속 psql --host= --username=ambari Default password: bigdata ==> database 보기 \l ==> 테이블 보기 \dt ==> hosts 테이블에서 불필요 host 삭제 ==> hoststate 테이블에서 먼저 삭제 ==> alert_current에서 삭제 ==> alert_history에서 삭제 안함 할까? 다 지워 줘야 함 2018. 11. 15.
Ambari metrics collector ERROR org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /ams-hbase-unsecure/meta-region-server at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:1155) at org.apache.hadoop.hbase.zookeeper.RecoverableZooKe.. 2018. 11. 15.

티스토리툴바