Life is... with something Life is... with something

회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l..

뜻하지 않게 Web 개발을 하게 될 상황이 왔다. Web 개발이란... 그래도 뭐 Web까지 하면 풀스팩 개발자가 될 수 있으니... 할 수 있을 때 한번 도전 해 볼라고 열심히 하려고 하는데 뜻하지 않게.. 아래와 같은 에러를 맞이 하게 되었다. from origin 'null' has been blocked by cors policy: cross origin requests are only supported for protocol schemes: http, data, chrome, chrome-extension, 보안 과련 뭐시기라고 하는데 일단 시간이 없으니 나중에 알아 보고 회피 방법을 찾아야 했다. 찾아 보니 크롬실행 시 --disable-web-security --user-data-dir 옵션..

진행 중인 프로젝트에서 코드를 Python으로 여러 사람이 같이 짜야 하는 상황이 발생했다. 여러 사람이 같이 진행하다 보니까 코딩 스타일도 다르고 함수명이랑 클래스명등 명명 규칙이 꼬이고 주석도 다양한 스타일로 달다 보니 좀 혼돈 스러운 경향이 있었다. 나 같은 경우도 Java 개발 때의 습관이 있어서 코드 스타일을 Java로 하고 주석도 java 스타일로 달고 있었다. 그런데 갑자기 굼금해 졌다. Python은 어떤 코드 스타일을 추구 하고 있는가? 라는?? 찾아 보니 여러가지 스타일 들이있다. 1.PEP8https://www.python.org/dev/peps/pep-0008/ 파이썬 창시자 Guido van Rossum이 작성한 파이썬 스타일 가이드이다. 창시자가 만들었으면 한번쯤은 다 읽어 봐야..

테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =..

구글 chromedriver centos7에서 사용시 다음과 같이 오류가 발생할 때selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)근본적으로 크롬 2.9버젼을 쓰면 발생하는 오류다 [추가 소스 부분]option..

NIFI Cron 설정NIFI는 일반적인 리눅스 크론과 설정이 약간 다르다.-- 리눅스 Cron* * * * * 수행할 명령어 ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 =일요일) │ │ │ └────────── 월 (1 - 12) │ │ └─────────── 일 (1 - 31) │ └──────────── 시 (0 - 23) └───────────── 분 (0 - 59) -- Nifi Cron* * * * * * ┬ ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 = 일요일) │ │ │ │ └───────── 월 (1 - 23) │ │ │ └────────── 일 (1 - 31)..

Linux Bash shell 명령어 정리 1. 날짜 타입을 timestamp로 변경 > date -d '2019-01-02' +%s => 시간도 된다. > date -d '2019-01-02T09:00:00' +%s

시간이 지나도 계속해서 누군가가 자꾸 생각나 길가다 우연히 노래를 듣다가도 걷다가 우연히 거리를 보다가도 이젠 나에게서 사라져 버린 흔적이라 믿었는데 아무렇지 않게 다시 나타나 이제 사랑하는 감정도 그리운 마음도 이제 보고싶다는 생각도 아련한 느낌도 더 이상은 없는데 그냥 생각나 그냥 행복했으면 좋겠다.그냥 웃으며 지냈으면 좋겠다. 아련한 기억의 흔적은 너의 행복으로 사라졌으면 좋겠다.아련한 기억의 흔적은 너의 행복으로 사라졌으면 좋겠다.