본문 바로가기

분류 전체보기282

Hive GenericUDTF 사용 Hive에서 일반적인 UDF는 사용하기 쉽다. Hive UDF는 [INPUT] : ONE ROW -> [OUTPUT] ONE ROW 이런 결과 값이 나온다. 하지만 필요에 의해 [INPUT] : ONE ROW -> [OUTPUT] MULTI ROW 값이 필요하게 되었다. 찾아보니 GenericUDTF를 사용 하면 된다. import java.util.ArrayList;import java.util.List; import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericU.. 2016. 5. 13.
ulimit 설정 관련 리눅스에서 ulimit 설정이 있다, 이걸 알게된 계기는 Hadoop 설치시 권장 설정 항목에 명시되어 있기 때문이었다. hortonworks 사이트 설치 문서에 위와 같이 명시되어 있다. 그럼 ulimit란 게 무엇 일까? --> 쉘 내부 명령어로 시스템 자원의 제한 값을 조정하는 것이라고 한다. >ulimit -a 위와 같이 나온다! 잠깐 ulimit 옵션을 보면 -a : 모든 제한 사양 뷰-c : 최대 코어 파일 사이즈 -d : 프로세스 데이터 세그먼트의 최대 크기 -f : shell에 의해 만들어질 수 있는 파일의 최대 크기 -s : 최대 스택 크기 -p : 파이프 크기 -n : 오픈 파일의 최대수 -u : 오픈파일의 최대수 -v : 최대 가상메모리의 양 -S : soft 한도 -H : hard .. 2016. 5. 13.
리눅스 crontab으로 기간이 지난 로그 삭제 프로그램을 운영하다가 보면 로그를 남기는 것은 필수다. 허나! 이 로그들로 인해 프로세스가 멈출 수도 있다. 쌓여가는 로그들을 일일이 손으로 제거 할 수도 없고... 쩝... 그럴때 흔히 사용하는 것이 crontab 이다. crontab은 일종의 스케줄러라고 보면 된다. 사용 방법은 간단하다. 원하는 동작 방식과 실행 스크립트를 등록하면 된다! * * * * * 수행할 명령어분(0-59)시(0-23)일(1-31)월(1-12)요일(0-6)(0=일요일) 이런 구조다 예를 들면 * * * * * /home/run.sh==> 1분 마다 /home/run.sh 수행 15,45 * * * * /home/run.sh==> 매시 15,45분에 수행 0 2 * * * /home/run.sh==> 매일 2시에 수행 30 .. 2016. 5. 2.
Wise Commerce 악성코드 얼마전에 PDF 인쇄 프로그램을 그냥 아무 블로그에서 받았더니... 악성 코드가 깔려 버렸다... 젠장... 시간이 급해서 빨리 한다고 했더니... 이 악성 코드는 제어판에서도 보이지 않는다! 그리고 컴텨 재부팅시 Wise Commerce 뭐시기 WindowsUsersAgreemetforSmartRunUpdate 라는 것이 실행 할꺼냐고 자꾸 묻는다! 그 때 '예'를 누른다면.. 지옥을 맛보게 될것이다!!!! 일반적인 백신으로는 제거가 힘든 상황! 폭풍 검색 끝에 이런 악성코드를 찾아 제거하는 것을 만드는 사람들이 있었다. 감사감사! http://cafe.naver.com/malzero/94376?viewType=pc 위의 링크에서 시키는 대로 하면된다. 그러면 깨끗이 지워지긴 하는데... 설마 좀비 처.. 2016. 4. 27.
NHN Entertainment Toast Swap 메모리 설정 해프닝 NHN 엔터의 TOAST를 사용중 메모리 부족으로 인한 프로세스가 죽는 현상이 나타났다. 처음에는 떠 있는 프로세스들이 아무런 로그 없이 다음날 죽어 있는 상태였다? 왜? 죽었는지 의문이 들었는데... 우리 연구소 책임님이 지나가는 말로 시스템 물리적인 메모리가 부족할 경우 커널 단에서 그냥 아무 프로세스를 죽인다고 한다! 음 그래? 커널 메시지 확인!! 간단한 커널 메시지 확인은 >> dmesg 확인 결과! 역시나 kill 메시지가 존재 한다.... ㄷㄷㄷ Instance의 메모리를 너무 작게 설정했나...(괜히 돈 아낄려다가...) 그래서 메모리를 확인하는 중 재미있는 현상을 발견했다. 분명 Toast Instance에서 Swap으로 할당 된 디스크 용량이 있는 걸 확인 했는데... 막상 free를 .. 2016. 4. 25.
PostgreSQL shell command(ambari) Hadoop 설치 시 hostname를 잘 못 지정하여 설치하여 hostname을 변경 후 재 설치 했더니... ambari-server 에서 host하나가 없어 졌다고 자꾸 alert을 발생 시키고 있다. 이거 어찌 하겠는가... 같은 host인데 이름만 바꼈을 뿐... 다르게 인식하다니... 상관은 없지만 아무래도 경고 메시지가 시뻘걷게 떠 있으니 여간 신경이 쓰이지 않을 수 없다!!! 결구은 ambari DB에서 삭제 해주는 방법을 선택했다. 암바리 DB는 postgreSQL 흠 MySQL? MS-SQL? 암튼 뭐! 일단 ambari에 설치에 사용된 postgreSQL은 embaded postgreSQL 이다. 참고 하시고! postgreSQL 접속은! psql --host=127.0.0.1 --u.. 2016. 4. 11.

티스토리툴바