프로그래밍
-
Fix Under-replicated blocks in HDFS manually프로그래밍/hadoop 2018. 11. 15. 10:58
su - bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files -bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; done
-
Ambari UnKnown Host 에러프로그래밍/hadoop 2018. 11. 15. 10:48
가끔 ambari를 사용하다가 node를 추가 후 제거 할때 ambari가 제거된 host를 계속 있는 줄 알고 에러를 발생시키는 경우가 있다. 시스템 상으로 큰 장애는 없으나 상당히 에러 alert을 본다는 것이 상당히 거슬리는 일이다. - psql로 접속 psql --host= --username=ambari Default password: bigdata ==> database 보기 \l ==> 테이블 보기 \dt ==> hosts 테이블에서 불필요 host 삭제 ==> hoststate 테이블에서 먼저 삭제 ==> alert_current에서 삭제 ==> alert_history에서 삭제 안함 할까? 다 지워 줘야 함
-
Ambari metrics collector ERROR프로그래밍/hadoop 2018. 11. 15. 10:47
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /ams-hbase-unsecure/meta-region-server at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:1155) at org.apache.hadoop.hbase.zookeeper.RecoverableZooKe..
-
좌표계 변환 Proj4프로그래밍/기타 2018. 11. 15. 10:37
www.juso.go.kr 사이트에 가면 정부에서 제공하는 전자지도 DB를 다운 받을 수 있다.하지만 여기서 사용되는 좌표계는 GRS80 UTM-K이다이걸 우리 지도에서 사용하기 위해서는 TW좌표 체계나 WGS84좌표 체계로 변경해야 한다.관련된 Open 소스가 있다.Java Map Projection Library: http://www.jhlabs.com/java/maps/proj 로 가면 다운 받을 수 있다.scala source--> 'UTM-K'=> 'WGS84' 변환val proj4 = Array[String]("+proj=tmerc", "+lat_0=38","+lon_0=127.5", "+k=0.9996", "+x_0=1000000", "+y_0=2000000","+ellps=GRS80", "..
-
ElasticSearch unassigned_shard 발생 시프로그래밍/Elasticserach 2018. 11. 15. 10:35
엘라스틱서치가 비정상적으로 종료 되거나 내부 데이터에 문제가 생길경우unaasinged_shards 가 발생한다.지난번에 비정상적으로 Elasticsearch가 종료되어서 발생하였고cluster 상태가 yellow에서 green으로 바뀌지 않는 현상이 발생했다.해결방법은 클러스터를 차례로 재시작하는 방법(하지만 잘 되지 않는다.)강제로 ressign을 해주는 방법이 있다.명령어는curl -XPUT 'http://localhost:9200/_cluster/settings' -d '{ "transient": { "cluster.routing.allocation.enable" : "all" }}' 해주면 시간이 소요 되지만정상화 된다.