-
SSH SESSION 관리프로그래밍/linux 2017. 12. 20. 16:42
서버에서 주로 작업을 하다가 노트북을 그냥 덮어 종료하고 퇴근을 하다 보니 서버에 수많은 ssh 연결이 끊어지지 않은채로 있는 걸 알게 되었다. 관리를 좀 하라고.. 그냥 종료하면 끊기지 않는 다는 걸 이제 알았다 ㅎㅎㅎ 자 그럼 관리를 해볼까.. 이미지 파일에서 보는 것과 같이 너무 많은 세션들이 있다. 날짜를 보면 몇일이 지난 세션들 이런 세션들을 지워주면 된다.세션을 보는 명령어는'w'그리고 세션을 종료하는 것은'ps -ef|grep ssh'를 통해서 지우고 싶은 세션의 PID를 Kill 해주면 된다.
-
DataNode Java Heap Warning프로그래밍/hadoop 2016. 8. 24. 11:55
HDP 버젼을 2.4로 업데이트 이후 DATANODE JAVA HEAP WARNING을 자주 보게 되었다. 기존까지 별 문제 없다가 업데이트 이후 자주 보이고 있다. 결국은 GC 문제로 추정되는데 WARNING이 발생하더라도 나중에는 사라지게 된다. DATANODE의 JAVA HEAP의 크기를 증가 시켜 줘도 똑 같은 현상이 발생하는 걸 보면 확실히 GC의 문제이다. 이 GC가 너무 자주 동작해도 문제고 너무 동작하지 않아서 FULL GC가 돌게 되어도 문제다. 어느 것이든 성능 이슈가 발생하게 된다. 일단 나의 이론이 맞는지 증명해 보기 위한 간단한 테스트! "jcmd GC.run" 명령으로 해당 DATANODE에 강제적으로 full garbage collect를 동작하게 해주면 위의 경고는 조금 후 ..
-
Hive 성능 향상 방안프로그래밍/hive 2016. 8. 18. 00:07
일반적으로 알려진 Hive 성능을 높이기 위한 방안 알려진 방안 HDP를 사용할 경우[Tez Engine 사용] (현재 사용중)MR(Map Reduce)는 여전히 대용량 배치 작업에 사용되고 있지만 이제 구 시대의 기술이 되어 버렸죠. Tez 엔진을 사용하면 2배 이상의 성능 향상이 가능 함 [ORC File 사용] (현재 사용중)일반적인 TEXT FILE 형태로 HIVE Table에 데이터를 넣는 것 보다 ORC File 형태로 입력하면 좀더 나은 성능을 얻을 수 있다. 일반적으로 Hive Table을 생성 할때“CREATE TABLE TESTTABLE (value string, key string) STORED AS ORC” 만들고“insert OR Load Data”를 사용하여 TABLE에 입력하면..
-
ES-Hadoop(1)프로그래밍/Elasticserach 2016. 8. 2. 16:49
Hadoop 과 Elasticsearch를 연결하여 사용하기 위한 방법 1. elasticsearch on yanr => Hadoop yarn cluster 안에 elasticsearch가 동작 하도록 하는 방식 (현재 사용 목적에 부합하지도 않고 Beta version 이므로 Pass) 2. elasticsearch for apache hadoop => 독립된 elasticserch cluster 와 hadoop cluster 사이를 driver를 통해 연결하여 사용 %4년 전에 mongo-hadoop 을 잠시 이용한 적이 있었다. 결론은 엄청난 I/O 부하와 network 부하로 인해 별로 유용하게 사용하지 못했던 기억이 있다. 그 때는 한 대의 MongoDB에서 무식한 짓을 했던 거긴 하지만.. E..
-
벤치의 그녀(3)단편소설 2016. 8. 2. 00:20
톰이 말해 준 대로 사람들의 눈을 피해 서두르지 않고 빠르게 발을 옮겼다. 익숙한 냄새가 난다. 그녀가 근처에 있다는 걸 내 직감이 말해주고 있다. 내 직감이 이끄는 데로 발을 옮긴다. 저기 반지하의 조금 열린 틈 사이로 익숙한 냄새가 세어 나오고 있다. 난 그 창문 너머로 방안을 들여다 보았다. 톰의 아지트 보다 더 어두운 방안 한 쪽 구석에 무언가 웅크리고 앉아 있는 게 보인다. 그녀인 것 같다. 방은 몇 일 동안 치우지 않은 듯 보였고 그녀는 간간히 작은 어깨의 떨림으로 살아 있음을 내게 말해주고 있었다. 기껏해야 고양이인 내가 왜 이렇게 그녀를 신경쓰고 있는 지 모르겠다. 무엇인가 내가 그녀에게서 받은 것들을 조금이라도 보답하고 싶은 것일까... 지금까지 인간들을 지켜 보는 것이 나에게는 그냥 지..
-
JounalNode 오류 관련 해프닝프로그래밍/hadoop 2016. 7. 12. 13:51
현재 구동 중인 Hadoop Cluster에 로그 미삭제로 인한 디스크 FULL이 발생. JournalNode의 기록이 작성 중 중단되는 현상이 발생. - 용량 확보 후 JournalNode을 재 시작 하였으나 파일 쓰기 오류 발생 => 참고로 JournalNode를 사용하기 위해서는 3개의 set 2개는 동작 가능해야 하는 상황이어야 함 - ambari API를 통한 재 구동 명령이 듣지 않음.- 수동 명령어로 재시작 (hortonworks HDP-2.4): /usr/hdp/{버전}/hadoop/sbin/hadoop-deamon.sh start journalnode - 여전히 쓰기 오류 발생WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(..
-
벤치의 그녀(2)단편소설 2016. 6. 29. 23:53
난 먼 여행을 좋아하지 않는다. 특히 내 구역을 벗어나는 일은 좋아 하지 않는다. 다른 이들이 나에게 시비를 거는 것도 싫지만 익숙한 곳을 떠나 낯선 곳으로 가는 것은 영 찜찜한 기분이 들기 때문이다. 일단 그녀는 공원의 동쪽 입구 쪽에서 걸어 왔다. 그렇다면 East Bay 쪽인데.. 그 곳은 톰의 구역이다. 멍청이 톰. 먹을 것 밖에 모르는 녀석! 너무나도 멍청한 녀석인데 먹을 것에 대한 욕심이 강해서 사람들에게 배를 보여주며 먹이를 얻는 자존심도 없는 녀석이다. 날이 밝았다. 사람을 찾을려면 일반적으로 밤보다는 낮이 좋다. 졸린 몸을 이끌고 오래간 만에 내 구역을 벗어나 East Bay쪽으로 갔다. 내 구역을 벗어나니 기분이 찜찜하다. 누군가 나를 공격해도 할 말이 없는 상황이다. 그래도 톰은 누가..
-
벤치의 그녀(1)단편소설 2016. 6. 19. 23:28
햇살이 뜨겁다. 비가 내리고 나면 숨이 턱턱 막힐 듯한 뜨거운 공기로 인해 한 걸음 한 걸음 움직이기가 힘들어 질것 같다. 그래서 인지 어떻게 보면 지금은 날씨가 참 좋다고 여겨 질 만 하다. 공원에는 많은 사람들이 가족과 함께 나들이를 나온 것 처럼 보인다. 난 일찌감치 나와 어느 시간에도 햇살을 막아 줄 수 있는 커다란 느티나무 밑에 자리를 잡고 앉았다. 덥지도 않은 지 어린 아이들은 마냥 신나서 뛰어 다니고 있고 그 아이들의 부모들로 보이는 사람들은 돗자리를 깔고 술과 먹을 것을 함계 나눠 먹고 있다. 다들 즐거워 보인다. 난 뭐 즐거울 것도 없고 나쁠것도 없는 상황에서 그냥 이렇게 시원한 곳에 앉아 사람들을 지켜보는 것이 어느새 일상이 되어 버렸다. 저기 앉아 있는 사람들은 무슨 이야기를 하며 웃..