-
zeppelin, Elasticsearch 와 spark프로그래밍/Elasticserach 2019. 2. 28. 15:46
테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =..
-
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally프로그래밍/python 2019. 2. 25. 16:37
구글 chromedriver centos7에서 사용시 다음과 같이 오류가 발생할 때selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)근본적으로 크롬 2.9버젼을 쓰면 발생하는 오류다 [추가 소스 부분]option..
-
nifi Cron 설정프로그래밍/Nifi 2019. 2. 8. 16:44
NIFI Cron 설정NIFI는 일반적인 리눅스 크론과 설정이 약간 다르다.-- 리눅스 Cron* * * * * 수행할 명령어 ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 =일요일) │ │ │ └────────── 월 (1 - 12) │ │ └─────────── 일 (1 - 31) │ └──────────── 시 (0 - 23) └───────────── 분 (0 - 59) -- Nifi Cron* * * * * * ┬ ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 = 일요일) │ │ │ │ └───────── 월 (1 - 23) │ │ │ └────────── 일 (1 - 31)..
-
뉴스 감정 분석 관련 잡다한 일들과 생각프로그래밍/기타 2018. 11. 22. 13:23
뉴스 감정 분석에 대한 의견머신러닝을 이용한 뉴스 감정 분석을 프로젝트로 진행하고 있다.사람의 감정을 기계가 판단한다???아주 멋진 일이다.그런데 여기서 집고 넘어가야 할 것이 있다.지금 우리가 할려고 하는 건 뉴스이다. 뉴스를 보고 그 뉴스에 대해 긍정,부정,중립을 판단하는 것이다.뉴스는?자고로 중립성을 가져야 하는 것이 아닌가????그리고 뉴스는 개인의 상황에 따라서 단순 사실을 전달하더라도 해당 뉴스가 긍정이 될 수도 있고 부정이 될 수도 있다.답답해지기 시작한다.기획의도를 모르겠다. 많은 의문점을 가지고 이야기 하기는 했지만... 결국은 구현하는 걸로..결정이 되었다우선 학습을 위한 데이터가 필요했다.아르바이트 생을 12명 고용했다. 각종 뉴스를 랜덤하게 제공하고 긍정,부정,중립을 판단하게 했다...
-
debian에서 버젼 확인 하기프로그래밍/linux 2018. 11. 16. 11:05
오래간 만에 debian linux를 쓰게 되었다. 우선 설치되어 있는 서버의 사양과 OS의 버젼을 알아야 한다. Debian 에서 버젼을 확인 하는 방법lsb_release -a 명령을 치면 No LSB modules are available.Distributor ID: DebianDescription: Debian GNU/Linux 9.4 (stretch)Release: 9.4Codename: stretch 이런 식으로 해당 서버의 debian 정보를 알 수 있다.