프로그래밍/hadoop13 Ambari UnKnown Host 에러 가끔 ambari를 사용하다가 node를 추가 후 제거 할때 ambari가 제거된 host를 계속 있는 줄 알고 에러를 발생시키는 경우가 있다. 시스템 상으로 큰 장애는 없으나 상당히 에러 alert을 본다는 것이 상당히 거슬리는 일이다. - psql로 접속 psql --host= --username=ambari Default password: bigdata ==> database 보기 \l ==> 테이블 보기 \dt ==> hosts 테이블에서 불필요 host 삭제 ==> hoststate 테이블에서 먼저 삭제 ==> alert_current에서 삭제 ==> alert_history에서 삭제 안함 할까? 다 지워 줘야 함 2018. 11. 15. Ambari metrics collector ERROR org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /ams-hbase-unsecure/meta-region-server at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:1155) at org.apache.hadoop.hbase.zookeeper.RecoverableZooKe.. 2018. 11. 15. DataNode Java Heap Warning HDP 버젼을 2.4로 업데이트 이후 DATANODE JAVA HEAP WARNING을 자주 보게 되었다. 기존까지 별 문제 없다가 업데이트 이후 자주 보이고 있다. 결국은 GC 문제로 추정되는데 WARNING이 발생하더라도 나중에는 사라지게 된다. DATANODE의 JAVA HEAP의 크기를 증가 시켜 줘도 똑 같은 현상이 발생하는 걸 보면 확실히 GC의 문제이다. 이 GC가 너무 자주 동작해도 문제고 너무 동작하지 않아서 FULL GC가 돌게 되어도 문제다. 어느 것이든 성능 이슈가 발생하게 된다. 일단 나의 이론이 맞는지 증명해 보기 위한 간단한 테스트! "jcmd GC.run" 명령으로 해당 DATANODE에 강제적으로 full garbage collect를 동작하게 해주면 위의 경고는 조금 후 .. 2016. 8. 24. JounalNode 오류 관련 해프닝 현재 구동 중인 Hadoop Cluster에 로그 미삭제로 인한 디스크 FULL이 발생. JournalNode의 기록이 작성 중 중단되는 현상이 발생. - 용량 확보 후 JournalNode을 재 시작 하였으나 파일 쓰기 오류 발생 => 참고로 JournalNode를 사용하기 위해서는 3개의 set 2개는 동작 가능해야 하는 상황이어야 함 - ambari API를 통한 재 구동 명령이 듣지 않음.- 수동 명령어로 재시작 (hortonworks HDP-2.4): /usr/hdp/{버전}/hadoop/sbin/hadoop-deamon.sh start journalnode - 여전히 쓰기 오류 발생WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(.. 2016. 7. 12. HDP 2.0에서 HDP 2.4로 업그레이드 삽질 오래전 부터 쓰던 Hortonworks 사의 HDP 2.0 버젼을을 최근에 나온 2.4 버젼으로 업그레이드 해야 할 필요성이 생겼다. 일단 너무 오래된 버젼이라 나날이 발전하고 있는 Hadoop 관련 시스템들의 지원이 제대로 이루어 지고 있지 않고 있었고 현재 만들고 있는 데이터들의 생성 속도도 현저하게 저하되고 있었다. 일단 Rolling Upgrade를 지원하는지를 확인 해봐야 했다. 메일 생성되는 데이터가 있으니 진행에 차질이 없어야 하니! Hortonworks 홈페이지에서 확인해 보니 Rolling upgrade를 지원한다! 하지만! ImportantAmbari 2.2.2 does not support managing an HDP 2.1 or 2.0 cluster. If you are runnin.. 2016. 5. 27. PostgreSQL shell command(ambari) Hadoop 설치 시 hostname를 잘 못 지정하여 설치하여 hostname을 변경 후 재 설치 했더니... ambari-server 에서 host하나가 없어 졌다고 자꾸 alert을 발생 시키고 있다. 이거 어찌 하겠는가... 같은 host인데 이름만 바꼈을 뿐... 다르게 인식하다니... 상관은 없지만 아무래도 경고 메시지가 시뻘걷게 떠 있으니 여간 신경이 쓰이지 않을 수 없다!!! 결구은 ambari DB에서 삭제 해주는 방법을 선택했다. 암바리 DB는 postgreSQL 흠 MySQL? MS-SQL? 암튼 뭐! 일단 ambari에 설치에 사용된 postgreSQL은 embaded postgreSQL 이다. 참고 하시고! postgreSQL 접속은! psql --host=127.0.0.1 --u.. 2016. 4. 11. 이전 1 2 3 다음
