java4 AWS EC2 Linux2, Linux2023 에 java 설치 sudo dnf install java-11-amazon-corretto-devel AWS EC2에는 기본적으로 java가 설치 되어있지 않다. EC2 OS에 따른 java 설치법은 다음과 같다. amazon linux 2 sudo amazon-linux-extras install java-openjdk11 확인 java -version amzaon linux 2023 sudo dnf update -y sudo dnf install java-17-amazon-corretto-devel 확인 java -version 2023. 6. 19. alternative 를 이용한 기본 java version 변경 alternative 를 이용한 기본 java version 변경alternative 명령을 이용하면 여러버전이 깔려 있는 java에서손쉽게 java 기본 버젼을 변경 할 수 있다. gradle bulid시 java tool.jar 문제가 발생alternative로 설정하여 버젼 동기화를 쉽게 했음 2018. 2. 13. DataNode Java Heap Warning HDP 버젼을 2.4로 업데이트 이후 DATANODE JAVA HEAP WARNING을 자주 보게 되었다. 기존까지 별 문제 없다가 업데이트 이후 자주 보이고 있다. 결국은 GC 문제로 추정되는데 WARNING이 발생하더라도 나중에는 사라지게 된다. DATANODE의 JAVA HEAP의 크기를 증가 시켜 줘도 똑 같은 현상이 발생하는 걸 보면 확실히 GC의 문제이다. 이 GC가 너무 자주 동작해도 문제고 너무 동작하지 않아서 FULL GC가 돌게 되어도 문제다. 어느 것이든 성능 이슈가 발생하게 된다. 일단 나의 이론이 맞는지 증명해 보기 위한 간단한 테스트! "jcmd GC.run" 명령으로 해당 DATANODE에 강제적으로 full garbage collect를 동작하게 해주면 위의 경고는 조금 후 .. 2016. 8. 24. Hive GenericUDTF 사용 Hive에서 일반적인 UDF는 사용하기 쉽다. Hive UDF는 [INPUT] : ONE ROW -> [OUTPUT] ONE ROW 이런 결과 값이 나온다. 하지만 필요에 의해 [INPUT] : ONE ROW -> [OUTPUT] MULTI ROW 값이 필요하게 되었다. 찾아보니 GenericUDTF를 사용 하면 된다. import java.util.ArrayList;import java.util.List; import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericU.. 2016. 5. 13. 이전 1 다음
