전체 글282 Python hive Client 설정 Python 으로 Hiveserver Client 개발을 하려고 한다. 우선 적으로 확인 해보니 일단 python version이 2.6 업데이트가 필요한 상황이다! 우선 Python CentOS 6.7에서 python 2.7로 업데이트 하는 방법!! => yum update=> yum install centos-release-SCL=> yum install python27=> scl enable python27 bash=> cd /opt/rh/python27/root/usr/bin/ # cd to the directory where SCL installs python=> sudo LD_LIBRARY_PATH=$LD_LIBRARY_PATH ./easy_install-2.7 pip => sudo LD_LI.. 2016. 3. 30. HDP Hiveserver2 JAVA heap Error HDP 버젼을 운용 중 발생 중인 문제점.. Hiveserver2에서 3주 정도 지나면 Java Heap Memory Error를 뱉는다.. 여기에 설치된 Hive 버젼은 1.2.1.2.3 에러 메시지는 다음과 같다. Java.lang.OutOfMemoryError: Java heap space 2016-03-04 10:45:23,530 WARN [HiveServer2-Handler-Pool: Thread-675783]: thrift.ThriftCLIService (ThriftCLIService.java:FetchResults(681)) - Error fetching results: java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap sp.. 2016. 3. 30. python vim 설정(자동완성 포함) python을 쓰다 보니 윈도우에서 안되는 것이 있다. sasl이 설치가 안돼서.. 아직 하는 방법을 찾지 못했다... 그래서 결국은 리눅스에서 코딩을 해야 하는 사태가.... 그런데 리눅스에서 코딩을 할려고 보니 여간 불편한게 아니다..쩝.. 다 따져봐도 결국은 vim을 써야 하는 상황... vim을 잘 쓰는 사람들은 외국에서 코딩 닌자라고 불린다고 하던데.. 이참에 vim을 쓸 수 있도록 연습겸 써봐야 겠다. 일단 우선적으로 설정해야 할 것을 정리해 보자! vim 설정 파일이라고 보면 됨! 없으면 만들어 주자! Write to .vimrc syntax on ----------> 문법 기능 ON filetype indent plugin on ----------> 확장자로 문서 형식 파악 let pyth.. 2016. 3. 17. Hiveserver2 Thread의 지속 적인 증가 현상 해결 HDP-2.3.4.0-3485 버젼을 사용 중인데...특이하게 종종 Hiveserver2의 task Thread가 증가 하는 경우가 발생한다.결국에는 Thread가 계속 증가하다가 Hadoop의 성능이 현저하게 떨어지고 결국에는 뻗어 버리고 만다. 처음에는 원인을 몰랐다. ps -ef|grep hiveserver 명령후 나오는 pid를 가지고 /proc/{pid}/task/ 폴더 안에 들어가 보면 해당 process의 thread 수를 알 수가 있다. 이를 통해서 hiveserver2를 통해서 생성되는 thread 수를 파악 했고 for ((;;)) ; do ls |wc -l ; sleep 5 ;done 을 통해 쿼리 수행 시 thread 수를 계속적으로 모니터링 한 결과 지속 적인 증가가 이루어 지는 .. 2016. 3. 10. Toast와 AWS 우연찮게 NHN에서 운영하는 Toast와 AWS를 잠간 동안 동시에 사용하게 되어서 비교 사항을 글로 쓴다. AWS와 TOAST에는 다양한 서비스가 있지만 기본적인 Instance 사용 비교만 하겠다. AWS에서는 EC2라고 불리고 TOAST에서는 그냥 Instance라고 불린다. AWS에서는 사양에 맞게 39개의 EC2 중 선택하여 생성 할 수 있다.TOAST는 현재 17개의 INSTANCE를 제공하고 있다. AWS에서는 각 EC2의 정보가 좀 더 상세하다. 위 화면은 EC2 생성 시 선택 할 때 제공 되는 정보이고 또한 홈페이지에서 더 상세한 스펙을 알 수 있다. 반면 TOAST는? vCPU와 RAM 정보 밖에 없다. 내가 정보를 못 찾는 건지 모르겠지만.. 있다고 해도 홈페이지에서 정보를 못찾는 것.. 2016. 3. 9. 우리의 이야기(이태선 바디) 그 첫번째 음악은 나에게 어떤 의미 일까? 남들에 비하면 잘 하지 못하고 어줍잖은 잡기술을 가지고 있는 정도의 실력으로 나름 음악을 하고 있다고 이야기 한다. 한 때는 음악만 하고 살고 싶었는데.. 언제부터인가 삶에 대한 걱정과 두려움이 나의 열망보다 커져.. 나에게서 음악이 우선순위가 한참뒤로 밀려 버렸다. 그래도 문득문득 시시때대로 꿈틀되는 그 그리움에 난 탄성을 지를때가 있었다. 원래 난 RLC라는 부산 감만동 최고의 밴드에서 베이스를 쳤었다! 기타 천재 겸 보컬 Mr.Moon 쌤과 변박의 귀재 Choi 형과 함께 3인조 밴드로 활동 했었다. 어언 10년이 다 되어 가는 이야기다. ㅎ 나? 나는... 무미건조한 건망증 Base W라고 하자! 꾸준히 하지는 않았지만 우리는 서로가 그리워 질때면 모여서 합주를 하.. 2015. 1. 13. 이전 1 ··· 44 45 46 47 다음
