본문 바로가기

분류 전체보기282

벤치의 그녀(3) 톰이 말해 준 대로 사람들의 눈을 피해 서두르지 않고 빠르게 발을 옮겼다. 익숙한 냄새가 난다. 그녀가 근처에 있다는 걸 내 직감이 말해주고 있다. 내 직감이 이끄는 데로 발을 옮긴다. 저기 반지하의 조금 열린 틈 사이로 익숙한 냄새가 세어 나오고 있다. 난 그 창문 너머로 방안을 들여다 보았다. 톰의 아지트 보다 더 어두운 방안 한 쪽 구석에 무언가 웅크리고 앉아 있는 게 보인다. 그녀인 것 같다. 방은 몇 일 동안 치우지 않은 듯 보였고 그녀는 간간히 작은 어깨의 떨림으로 살아 있음을 내게 말해주고 있었다. 기껏해야 고양이인 내가 왜 이렇게 그녀를 신경쓰고 있는 지 모르겠다. 무엇인가 내가 그녀에게서 받은 것들을 조금이라도 보답하고 싶은 것일까... 지금까지 인간들을 지켜 보는 것이 나에게는 그냥 지.. 2016. 8. 2.
JounalNode 오류 관련 해프닝 현재 구동 중인 Hadoop Cluster에 로그 미삭제로 인한 디스크 FULL이 발생. JournalNode의 기록이 작성 중 중단되는 현상이 발생. - 용량 확보 후 JournalNode을 재 시작 하였으나 파일 쓰기 오류 발생 => 참고로 JournalNode를 사용하기 위해서는 3개의 set 2개는 동작 가능해야 하는 상황이어야 함 - ambari API를 통한 재 구동 명령이 듣지 않음.- 수동 명령어로 재시작 (hortonworks HDP-2.4): /usr/hdp/{버전}/hadoop/sbin/hadoop-deamon.sh start journalnode - 여전히 쓰기 오류 발생WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(.. 2016. 7. 12.
벤치의 그녀(2) 난 먼 여행을 좋아하지 않는다. 특히 내 구역을 벗어나는 일은 좋아 하지 않는다. 다른 이들이 나에게 시비를 거는 것도 싫지만 익숙한 곳을 떠나 낯선 곳으로 가는 것은 영 찜찜한 기분이 들기 때문이다. 일단 그녀는 공원의 동쪽 입구 쪽에서 걸어 왔다. 그렇다면 East Bay 쪽인데.. 그 곳은 톰의 구역이다. 멍청이 톰. 먹을 것 밖에 모르는 녀석! 너무나도 멍청한 녀석인데 먹을 것에 대한 욕심이 강해서 사람들에게 배를 보여주며 먹이를 얻는 자존심도 없는 녀석이다. 날이 밝았다. 사람을 찾을려면 일반적으로 밤보다는 낮이 좋다. 졸린 몸을 이끌고 오래간 만에 내 구역을 벗어나 East Bay쪽으로 갔다. 내 구역을 벗어나니 기분이 찜찜하다. 누군가 나를 공격해도 할 말이 없는 상황이다. 그래도 톰은 누가.. 2016. 6. 29.
벤치의 그녀(1) 햇살이 뜨겁다. 비가 내리고 나면 숨이 턱턱 막힐 듯한 뜨거운 공기로 인해 한 걸음 한 걸음 움직이기가 힘들어 질것 같다. 그래서 인지 어떻게 보면 지금은 날씨가 참 좋다고 여겨 질 만 하다. 공원에는 많은 사람들이 가족과 함께 나들이를 나온 것 처럼 보인다. 난 일찌감치 나와 어느 시간에도 햇살을 막아 줄 수 있는 커다란 느티나무 밑에 자리를 잡고 앉았다. 덥지도 않은 지 어린 아이들은 마냥 신나서 뛰어 다니고 있고 그 아이들의 부모들로 보이는 사람들은 돗자리를 깔고 술과 먹을 것을 함계 나눠 먹고 있다. 다들 즐거워 보인다. 난 뭐 즐거울 것도 없고 나쁠것도 없는 상황에서 그냥 이렇게 시원한 곳에 앉아 사람들을 지켜보는 것이 어느새 일상이 되어 버렸다. 저기 앉아 있는 사람들은 무슨 이야기를 하며 웃.. 2016. 6. 19.
Hive Command Line CLI History 보기 Hive를 사용하다 보면 나는 주로 CLI Shell을 주로 이용하게 된다. 쿼리 검증을 하기 위해서 shell에서 작업을 많이 하는데... 가끔 내가 사용 했던 쿼리를 다시 사용해야 할 때가 있다. 그럴때 shell에서 화살표 위 아래로 움직이면 과거 쿼리를 불러 올 수 있는데.. 이게 꽤 옛날 쿼리라면 찾기가 참 어렵다. history 명령도 있는 것도 아니고.. 그럴때 어떻해야 하나~ 확인해 보니 내가 Cli shell에서 사용했던 쿼리가 기록에 남아 있다. =>$HOME/.hivehistory 란 곳에 10,000 Line 까지 기록이 된다고 한다. 그래서 오래된 쿼리를 다시 찾기 위해서는 그 파일을 열고!! 확인해 보면 나의 삽질이 어떻게 진행되고 있는 지 한눈에 확인해 볼수 있다!! 2016. 6. 7.
HDP 2.0에서 HDP 2.4로 업그레이드 삽질 오래전 부터 쓰던 Hortonworks 사의 HDP 2.0 버젼을을 최근에 나온 2.4 버젼으로 업그레이드 해야 할 필요성이 생겼다. 일단 너무 오래된 버젼이라 나날이 발전하고 있는 Hadoop 관련 시스템들의 지원이 제대로 이루어 지고 있지 않고 있었고 현재 만들고 있는 데이터들의 생성 속도도 현저하게 저하되고 있었다. 일단 Rolling Upgrade를 지원하는지를 확인 해봐야 했다. 메일 생성되는 데이터가 있으니 진행에 차질이 없어야 하니! Hortonworks 홈페이지에서 확인해 보니 Rolling upgrade를 지원한다! 하지만! ImportantAmbari 2.2.2 does not support managing an HDP 2.1 or 2.0 cluster. If you are runnin.. 2016. 5. 27.

티스토리툴바