프로그래밍
-
OpenAI의 Whisper프로그래밍/기타 2024. 1. 12. 09:59
알게 된 지즌 좀 오래됐는데 어디다가 써먹어야 하나 고민을 하고 있던 오픈소스다. https://github.com/openai/whisper GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Robust Speech Recognition via Large-Scale Weak Supervision - GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision github.com 그 유명한 OpenAI에서 공개를 했다. chatGPT를 만든 곳이다. 사용방법은 간단하다. 위 github에 가면 아주 상세하게 나와있다...
-
AWS EC2 Linux2, Linux2023 에 java 설치프로그래밍/기타 2023. 6. 19. 15:25
sudo dnf install java-11-amazon-corretto-devel AWS EC2에는 기본적으로 java가 설치 되어있지 않다. EC2 OS에 따른 java 설치법은 다음과 같다. amazon linux 2 sudo amazon-linux-extras install java-openjdk11 확인 java -version amzaon linux 2023 sudo dnf update -y sudo dnf install java-17-amazon-corretto-devel 확인 java -version
-
Python argparse.ArgumentParser()프로그래밍/python 2023. 4. 24. 16:06
python 실행 시 외부 파라미터를 받을 때 사용되는 library 이다. 실제로 일어 날지는 모르겠지만... 허용하지 않는 parameter 가 입력 되었을 경우 parser = argparse.ArgumentParser() parser.add_argument("--file_path", "-f", help="sql file path") # -f : sql 파일 및 경로를 파라미터로 받음 parser.add_argument("--parameters", "-p", help="sql parameters") # -p : sql 파일 실행에 필요한 변수값을 파라미터로 받음 args = parser.parse_args() # 파라미터 객체 위와 같이 일반적으로 코드를 돌릴 경우 -f, -p 파라미터 이외에 값이..
-
When Rust hurts(번역)프로그래밍/rust 2023. 4. 20. 11:10
원문 https://mmapped.blog/posts/15-when-rust-hurts.html#objects-values-references Functional programming deals with values; imperative programming deals with objects. Alexander Stepanov, “Elements of Programming”, p. 5 함수형 프로그래밍은 값을 다루고 명령형 프로그래밍은 객체를 다룹니다. 알렉산더 스테파노프, "프로그래밍의 요소", p. 5 소개 Rust는 언어 디자인 분야에서 독보적인 위치를 차지하고 있습니다. 간결하고 이식성이 뛰어나며 때로는 예쁜 코드로 효율적이고 메모리에 안전한 프로그램을 만들 수 있습니다. 하지만 장미와 햇살만 있..
-
zeppelin-0.8.1 설치 삽질(with elasticsearch)프로그래밍/hadoop 2019. 7. 15. 11:15
회사에 신규 CDH Hadoop을 설치 하였다. 당연히 zeppelin을 설치 하려고 했는데 회사 내에 다른 주임님이 요즘 zeppelin 버그가 너무 많아서 실무에서는 잘 안쓰인다고 했다. jupyter가 짱이라면서... 흠... 초창기 부터 사용해왔던 나로써는 아직 zeppelin에 대한 좋은 기억들이 있어서 이번에 그냥 zeppelin을 설치 해보기로 했다. 일단 홈페이지에서 zeppeiln-0.8.1(최신 버젼) 빌드 버젼을 받아서 실행 실행은 잘된다. 하지만 문제점들이 발생 1. json 로드 시 common-langs 버젼 오류가 발생하면서 json 파일이 로드가 안된다. 원인 : CDH에서 spark2.4 는 common-lang3-3.7 을 쓰고 있는데 zeppelin에서는 common-l..
-
from origin 'null' has been blocked by cors policy Error프로그래밍/WEB 2019. 3. 11. 09:40
뜻하지 않게 Web 개발을 하게 될 상황이 왔다. Web 개발이란... 그래도 뭐 Web까지 하면 풀스팩 개발자가 될 수 있으니... 할 수 있을 때 한번 도전 해 볼라고 열심히 하려고 하는데 뜻하지 않게.. 아래와 같은 에러를 맞이 하게 되었다. from origin 'null' has been blocked by cors policy: cross origin requests are only supported for protocol schemes: http, data, chrome, chrome-extension, 보안 과련 뭐시기라고 하는데 일단 시간이 없으니 나중에 알아 보고 회피 방법을 찾아야 했다. 찾아 보니 크롬실행 시 --disable-web-security --user-data-dir 옵션..
-
python coding style프로그래밍/python 2019. 3. 6. 13:59
진행 중인 프로젝트에서 코드를 Python으로 여러 사람이 같이 짜야 하는 상황이 발생했다. 여러 사람이 같이 진행하다 보니까 코딩 스타일도 다르고 함수명이랑 클래스명등 명명 규칙이 꼬이고 주석도 다양한 스타일로 달다 보니 좀 혼돈 스러운 경향이 있었다. 나 같은 경우도 Java 개발 때의 습관이 있어서 코드 스타일을 Java로 하고 주석도 java 스타일로 달고 있었다. 그런데 갑자기 굼금해 졌다. Python은 어떤 코드 스타일을 추구 하고 있는가? 라는?? 찾아 보니 여러가지 스타일 들이있다. 1.PEP8https://www.python.org/dev/peps/pep-0008/ 파이썬 창시자 Guido van Rossum이 작성한 파이썬 스타일 가이드이다. 창시자가 만들었으면 한번쯤은 다 읽어 봐야..
-
zeppelin, Elasticsearch 와 spark프로그래밍/Elasticserach 2019. 2. 28. 15:46
테스트 Poc를 수행하기 위해 CDH6.1을 설치 하였다. 거기서 분석 툴로서 Zeppelin을 간만에 올려 보기로 하고 진행 하던 중 발 생한 문제 정리 Zeppelin 버젼은 0.8.0 CDH 버젼은 6.1Elasticsearch 버젼은 6.6 CDH 설치는 무리 없이 진행.Elasticsearch도 별 무리 없이 진행. zeppelin 설이 진행 시 많은 문제가 있었다. -> 최초 zeppelin 홈페이지에서 package 파일을 다운 받아 실행1. 에러 메시지 common-lang 버젼 충돌 오류 --------------------------------- CDH spark2.4에서는 common-lang-2.6을 사용하고 있는데 zeppelin 에서는 common-lang3-3.5를 사용 중 =..