프로그래밍/hive9 Hive Command Line CLI History 보기 Hive를 사용하다 보면 나는 주로 CLI Shell을 주로 이용하게 된다. 쿼리 검증을 하기 위해서 shell에서 작업을 많이 하는데... 가끔 내가 사용 했던 쿼리를 다시 사용해야 할 때가 있다. 그럴때 shell에서 화살표 위 아래로 움직이면 과거 쿼리를 불러 올 수 있는데.. 이게 꽤 옛날 쿼리라면 찾기가 참 어렵다. history 명령도 있는 것도 아니고.. 그럴때 어떻해야 하나~ 확인해 보니 내가 Cli shell에서 사용했던 쿼리가 기록에 남아 있다. =>$HOME/.hivehistory 란 곳에 10,000 Line 까지 기록이 된다고 한다. 그래서 오래된 쿼리를 다시 찾기 위해서는 그 파일을 열고!! 확인해 보면 나의 삽질이 어떻게 진행되고 있는 지 한눈에 확인해 볼수 있다!! 2016. 6. 7. Hive GenericUDTF 사용 Hive에서 일반적인 UDF는 사용하기 쉽다. Hive UDF는 [INPUT] : ONE ROW -> [OUTPUT] ONE ROW 이런 결과 값이 나온다. 하지만 필요에 의해 [INPUT] : ONE ROW -> [OUTPUT] MULTI ROW 값이 필요하게 되었다. 찾아보니 GenericUDTF를 사용 하면 된다. import java.util.ArrayList;import java.util.List; import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericU.. 2016. 5. 13. HDP Hiveserver2 JAVA heap Error HDP 버젼을 운용 중 발생 중인 문제점.. Hiveserver2에서 3주 정도 지나면 Java Heap Memory Error를 뱉는다.. 여기에 설치된 Hive 버젼은 1.2.1.2.3 에러 메시지는 다음과 같다. Java.lang.OutOfMemoryError: Java heap space 2016-03-04 10:45:23,530 WARN [HiveServer2-Handler-Pool: Thread-675783]: thrift.ThriftCLIService (ThriftCLIService.java:FetchResults(681)) - Error fetching results: java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap sp.. 2016. 3. 30. 이전 1 2 다음