프로그래밍
-
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally프로그래밍/python 2019. 2. 25. 16:37
구글 chromedriver centos7에서 사용시 다음과 같이 오류가 발생할 때selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)근본적으로 크롬 2.9버젼을 쓰면 발생하는 오류다 [추가 소스 부분]option..
-
nifi Cron 설정프로그래밍/Nifi 2019. 2. 8. 16:44
NIFI Cron 설정NIFI는 일반적인 리눅스 크론과 설정이 약간 다르다.-- 리눅스 Cron* * * * * 수행할 명령어 ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 =일요일) │ │ │ └────────── 월 (1 - 12) │ │ └─────────── 일 (1 - 31) │ └──────────── 시 (0 - 23) └───────────── 분 (0 - 59) -- Nifi Cron* * * * * * ┬ ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ │ │ │ │ │ │ └───────── 요일 (0 - 6) (0 = 일요일) │ │ │ │ └───────── 월 (1 - 23) │ │ │ └────────── 일 (1 - 31)..
-
뉴스 감정 분석 관련 잡다한 일들과 생각프로그래밍/기타 2018. 11. 22. 13:23
뉴스 감정 분석에 대한 의견머신러닝을 이용한 뉴스 감정 분석을 프로젝트로 진행하고 있다.사람의 감정을 기계가 판단한다???아주 멋진 일이다.그런데 여기서 집고 넘어가야 할 것이 있다.지금 우리가 할려고 하는 건 뉴스이다. 뉴스를 보고 그 뉴스에 대해 긍정,부정,중립을 판단하는 것이다.뉴스는?자고로 중립성을 가져야 하는 것이 아닌가????그리고 뉴스는 개인의 상황에 따라서 단순 사실을 전달하더라도 해당 뉴스가 긍정이 될 수도 있고 부정이 될 수도 있다.답답해지기 시작한다.기획의도를 모르겠다. 많은 의문점을 가지고 이야기 하기는 했지만... 결국은 구현하는 걸로..결정이 되었다우선 학습을 위한 데이터가 필요했다.아르바이트 생을 12명 고용했다. 각종 뉴스를 랜덤하게 제공하고 긍정,부정,중립을 판단하게 했다...
-
debian에서 버젼 확인 하기프로그래밍/linux 2018. 11. 16. 11:05
오래간 만에 debian linux를 쓰게 되었다. 우선 설치되어 있는 서버의 사양과 OS의 버젼을 알아야 한다. Debian 에서 버젼을 확인 하는 방법lsb_release -a 명령을 치면 No LSB modules are available.Distributor ID: DebianDescription: Debian GNU/Linux 9.4 (stretch)Release: 9.4Codename: stretch 이런 식으로 해당 서버의 debian 정보를 알 수 있다.
-
HDFS 데이터를 REMOTE HDFS로 COPY 할 때프로그래밍/hadoop 2018. 11. 15. 11:05
hadoop distcp 위와 같은 명령을 쓰면 일반적으로 복사가 된다. 하지만 잘 복사하다가 가끔 문제가 생긴다.Error: java.io.IOException: File copy failed: hdfs://devnodem:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 --> hdfs://10.10.82.223:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:287) at org.a..
-
HA 구성 클러스터에서 발생한 Journal Node 오류프로그래밍/hadoop 2018. 11. 15. 11:02
Test Cluster 에서 HA를 구성 했는데 뜬금없이 NameNode가 죽고 StandbyNamenode가 Namenode로 전환되는 일이 있었다.일단 원인은java.lang.Thread.run(Thread.java:745) Number of suppressed write-lock reports: 0 Longest write-lock held interval: 22184 Write-lock 이 걸린 것이다. 그로 인해org.apache.hadoop.ipc.RemoteException(java.io.IOException): IPC's epoch 10 is less than the last promised epoch 11 at org.apache.hadoop.hdfs.qjournal.server.Jour..