-
뉴스 감정 분석 관련 잡다한 일들과 생각프로그래밍/기타 2018.11.22 13:23
뉴스 감정 분석에 대한 의견머신러닝을 이용한 뉴스 감정 분석을 프로젝트로 진행하고 있다.사람의 감정을 기계가 판단한다???아주 멋진 일이다.그런데 여기서 집고 넘어가야 할 것이 있다.지금 우리가 할려고 하는 건 뉴스이다. 뉴스를 보고 그 뉴스에 대해 긍정,부정,중립을 판단하는 것이다.뉴스는?자고로 중립성을 가져야 하는 것이 아닌가????그리고 뉴스는 개인의 상황에 따라서 단순 사실을 전달하더라도 해당 뉴스가 긍정이 될 수도 있고 부정이 될 수도 있다..
-
HDFS 데이터를 REMOTE HDFS로 COPY 할 때프로그래밍/hadoop 2018.11.15 11:05
hadoop distcp <src> <dist> 위와 같은 명령을 쓰면 일반적으로 복사가 된다. 하지만 잘 복사하다가 가끔 문제가 생긴다.Error: java.io.IOException: File copy failed: hdfs://devnodem:8020/apps/hive/warehouse/logdata.db/onenavi_logtext_kt/dt=2017-07-21/000035_0 --> hdfs://10.10.82.2..
-
HA 구성 클러스터에서 발생한 Journal Node 오류프로그래밍/hadoop 2018.11.15 11:02
Test Cluster 에서 HA를 구성 했는데 뜬금없이 NameNode가 죽고 StandbyNamenode가 Namenode로 전환되는 일이 있었다.일단 원인은java.lang.Thread.run(Thread.java:745) Number of suppressed write-lock reports: 0 Longest write-lock held interval: 22184 Write-lock 이 걸린 것이다. 그로 인해org..
-
Fix Under-replicated blocks in HDFS manually프로그래밍/hadoop 2018.11.15 10:58
su - <$hdfs_user> bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files -bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $h..