프로그래밍/hadoop13 Hiveserver2 Thread의 지속 적인 증가 현상 해결 HDP-2.3.4.0-3485 버젼을 사용 중인데...특이하게 종종 Hiveserver2의 task Thread가 증가 하는 경우가 발생한다.결국에는 Thread가 계속 증가하다가 Hadoop의 성능이 현저하게 떨어지고 결국에는 뻗어 버리고 만다. 처음에는 원인을 몰랐다. ps -ef|grep hiveserver 명령후 나오는 pid를 가지고 /proc/{pid}/task/ 폴더 안에 들어가 보면 해당 process의 thread 수를 알 수가 있다. 이를 통해서 hiveserver2를 통해서 생성되는 thread 수를 파악 했고 for ((;;)) ; do ls |wc -l ; sleep 5 ;done 을 통해 쿼리 수행 시 thread 수를 계속적으로 모니터링 한 결과 지속 적인 증가가 이루어 지는 .. 2016. 3. 10. 이전 1 2 3 다음