-
zeppelin-0.8.1 설치 삽질(with elasticsearch)프로그래밍/hadoop 2019. 7. 15. 11:15
회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l..
-
from origin 'null' has been blocked by cors policy Error프로그래밍/WEB 2019. 3. 11. 09:40
뜻하지 않게 Web 개발을 하게 될 상황이 왔다. Web 개발이란... 그래도 뭐 Web까지 하면 풀스팩 개발자가 될 수 있으니... 할 수 있을 때 한번 도전 해 볼라고 열심히 하려고 하는데 뜻하지 않게.. 아래와 같은 에러를 맞이 하게 되었다. from origin 'null' has been blocked by cors policy: cross origin requests are only supported for protocol schemes: http, data, chrome, chrome-extension, 보안 과련 뭐시기라고 하는데 일단 시간이 없으니 나중에 알아 보고 회피 방법을 찾아야 했다. 찾아 보니 크롬실행 시 --disable-web-security --user-data-dir 옵션..
-
python coding style프로그래밍/python 2019. 3. 6. 13:59
진행 중인 프로젝트에서 코드를 Python으로 여러 사람이 같이 짜야 하는 상황이 발생했다. 여러 사람이 같이 진행하다 보니까 코딩 스타일도 다르고 함수명이랑 클래스명등 명명 규칙이 꼬이고 주석도 다양한 스타일로 달다 보니 좀 혼돈 스러운 경향이 있었다. 나 같은 경우도 Java 개발 때의 습관이 있어서 코드 스타일을 Java로 하고 주석도 java 스타일로 달고 있었다. 그런데 갑자기 굼금해 졌다. Python은 어떤 코드 스타일을 추구 하고 있는가? 라는?? 찾아 보니 여러가지 스타일 들이있다. 1.PEP8https://www.python.org/dev/peps/pep-0008/ 파이썬 창시자 Guido van Rossum이 작성한 파이썬 스타일 가이드이다. 창시자가 만들었으면 한번쯤은 다 읽어 봐야..
-
zeppelin, Elasticsearch 와 spark프로그래밍/Elasticserach 2019. 2. 28. 15:46
테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =..
-
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally프로그래밍/python 2019. 2. 25. 16:37
구글 chromedriver centos7에서 사용시 다음과 같이 오류가 발생할 때selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)근본적으로 크롬 2.9버젼을 쓰면 발생하는 오류다 [추가 소스 부분]option..
-
nifi Cron 설정프로그래밍/Nifi 2019. 2. 8. 16:44
NIFI Cron 설정NIFI는 일반적인 리눅스 크론과 설정이 약간 다르다.-- 리눅스 Cron* * * * * 수행할 명령어 ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 =일요일) │ │ │ └────────── 월 (1 - 12) │ │ └─────────── 일 (1 - 31) │ └──────────── 시 (0 - 23) └───────────── 분 (0 - 59) -- Nifi Cron* * * * * * ┬ ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 = 일요일) │ │ │ │ └───────── 월 (1 - 23) │ │ │ └────────── 일 (1 - 31)..