OpenAI의 Whisper

알게 된 지즌 좀 오래됐는데 어디다가 써먹어야 하나 고민을 하고 있던 오픈소스다.

 

https://github.com/openai/whisper

GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision

 

그 유명한 OpenAI에서 공개를 했다. chatGPT를 만든 곳이다.

 

사용방법은 간단하다. 위 github에 가면 아주 상세하게 나와있다. 확인해봐야 할 주요 사항으로는

 

사용할 수 있는 model의 사양이다. 모델의 크기며 필요 VRAM 그리고 SPEED까지 상세하게 나와 있는데 SMALL은 사용해 줘야

 

한글은 좀 볼만한 것 같다. 내가 자주 듣던 팟캐스트를 tiny와 small로 테스트해보았다.

tiny를 사용했을 때

13:28.120 --> 13:30.360 아 징무 발명 보상금이라는 게 있습니다.
13:30.360 --> 13:35.240 발복 전현 직자가 발명 고환 창작을 업무화 관련해서
13:35.240 --> 13:38.840 기클락이 하는 게 있으면 그래서 그것들 특화등록 할 수 있을 정도면
13:38.840 --> 13:42.560 그 종업원이 모종의 보상을 받아갈 수 있게 하는 제도입니다.
13:42.560 --> 13:43.760 사용자가 주는 거죠.
13:43.760 --> 13:45.760 이렇게 밖에 되는 보상금에 대해서 이제
13:45.760 --> 13:48.080 연 500만 원 한 돈에서 세금을 안 네갔어요.
13:48.080 --> 13:51.760 이 비과 생환도를 700으로 높였습니다.
13:51.760 --> 13:53.240 여치나 된다고.
13:53.240 --> 13:55.240 만치나 할 것 같거든요.
13:55.240 --> 14:00.360 천진 발명하신 분이 20만 원인 것 같다고 그랬죠.
14:00.360 --> 14:03.760 그리고 그거는 진짜 너무 말도 안 되는 보상금이지.
14:03.760 --> 14:06.780 자동차 전형도로의 초록색 핑크색 선긋는 것
14:06.860 --> 14:10.660 아이디어는 무상제도 못 받았다고 들었어요.
14:10.660 --> 14:14.180 물론 보상금으로만 보상 받는 건 아니긴 한데
14:14.180 --> 14:16.620 자 이게 1월 1일부터 적용이 됐어요.
14:16.620 --> 14:17.920 나중에 소송문 거러 가지고
14:17.920 --> 14:20.660 삼성이 합의감을 따로 줬다네요.

 

 

small을 사용했을 때

[13:28.000 --> 13:30.000] 직무 발명 보상금이라는 게 있습니다.
[13:30.000 --> 13:31.000] 직발보.
[13:31.000 --> 13:35.000] 전 현직자가 발명 고한 창작을 업무하고 관련되서.
[13:35.000 --> 13:36.000] 기깔나게 해낸 게 있으면.
[13:36.000 --> 13:38.000] 그래서 그것을 특허 등록할 수 있을 정도면.
[13:38.000 --> 13:42.000] 그 종업원이 모종의 보상을 받아갈 수 있게 하는 제도입니다.
[13:42.000 --> 13:43.000] 사용자가 주는 거죠.
[13:43.000 --> 13:45.000] 이렇게 받게 되는 보상금에 대해서.
[13:45.000 --> 13:48.000] 연 500만 원 한돈에서 세금을 안 매겼어요.
[13:48.000 --> 13:51.000] 이 비과 생환도를 700으로 높였습니다.
[13:51.000 --> 13:53.000] 며칠이나 된다고.
[13:53.000 --> 13:55.000] 많지는 않을 것 같거든요.
[13:55.000 --> 13:58.000] 천진 발명하신 분이.
[13:58.000 --> 14:01.000] 200만 원인가 받았다고 그랬죠.
[14:01.000 --> 14:04.000] 그거는 진짜 너무 말도 안 되는 보상금이지.
[14:04.000 --> 14:10.000] 자동차 전용도로의 초록색, 핑크색 선 긁는 거 아이디어 내신 분도 보상 제대로 못 받았다고 들었어요.
[14:10.000 --> 14:14.000] 물론 보상금으로만 보상받는 건 아니긴 한데.
[14:14.000 --> 14:16.000] 이게 1월 1일부터 적용이 됐어요.
[14:16.000 --> 14:20.000] 나중에 소송 걸어가지고 삼성이 합의금을 따로 줬다네요.

 

확실히 small이 퀄리티가 좋다. 그러다가 갑자기 음악도 잘 해줄까? 하는 생각이 들었다!

일단 내가 가지고 있는 mp3 중에 Motte의 노래를 돌려봤다.

 

(모트(Motte)_쉿)

small

[00:00.000 --> 00:08.000] 세상이 전부
[00:08.000 --> 00:20.000] 뿌옇게 그렇게
[00:20.000 --> 00:30.000] 사라질 것 같지
[00:30.000 --> 00:34.000] 비현실적으로
[00:34.000 --> 00:40.000] 난 어련부시다
[00:40.000 --> 00:46.000] 선명하게 밝게
[00:47.000 --> 00:53.000] 돌아올 것 같지
[00:53.000 --> 00:57.000] 비현실적으로
[00:57.000 --> 01:01.000] 다 만난
[01:01.000 --> 01:09.000] 많이 모자란 나와
[01:09.000 --> 01:13.000] 그랬나
[01:13.000 --> 01:21.000] 많이 유난스러웠어
[01:21.000 --> 01:25.000] 내 맘을 바라
[01:25.000 --> 01:32.000] 대마을 가봐
[01:32.000 --> 01:36.000] 사라지는 거
[01:36.000 --> 01:44.000] 아무것도 없어
[01:44.000 --> 01:48.000] When I feel better
[01:48.000 --> 01:55.000] 대마을 간다
[01:55.000 --> 01:59.000] 기다리는 거
[01:59.000 --> 02:07.000] 아무 미 없어
[02:07.000 --> 02:14.000] 사라지는 거
[02:14.000 --> 02:20.000] 기다리는 거
[02:20.000 --> 02:26.000] 더 바란다는 거
[02:26.000 --> 02:32.000] 더 기대하는 거
[02:32.000 --> 02:38.000] 사라지는 거
[02:38.000 --> 02:49.000] 기다리는 거
[02:51.000 --> 02:54.000] 하는 의미 없어
[02:54.000 --> 02:58.000] When I feel better
[02:58.000 --> 03:05.000] 대마을 간다
[03:05.000 --> 03:09.000] 사라지는 거
[03:09.000 --> 03:17.000] 아무것도 없어
[03:17.000 --> 03:21.000] When I feel better
[03:21.000 --> 03:28.000] 대마을 가봐
[03:28.000 --> 03:32.000] 기다리는 것도
[03:32.000 --> 03:40.000] 아무 미 없어
[03:40.000 --> 03:51.000] 많이 모자란 나와
[03:51.000 --> 03:55.000] 그랬나
[03:55.000 --> 04:04.000] 많이 유난스러웠어
[04:04.000 --> 04:10.000] 세상이 전부
[04:10.000 --> 04:16.000] 부여캐보럽게
[04:16.000 --> 04:22.000] 사라질 것 같지
[04:22.000 --> 04:27.000] 비현실적으로

 

medium

[00:00.000 --> 00:29.900]  세상이 전부 뿌옇게 그렇게 사라질 것 같지
[00:29.900 --> 00:34.100]  이 현실적으로
[00:34.100 --> 00:41.100]  음 어려움 뿌시다
[00:41.100 --> 00:53.100]  선명하게 밝게 돌아올 것 같지
[00:53.300 --> 00:57.300]  이 현실적으로
[00:57.300 --> 01:09.300]  아마 난 많이 모자란 나
[01:09.300 --> 01:21.300]  그래 난 많이 유난스러웠어
[01:21.500 --> 01:32.500]  When I feel better, tell all come back
[01:32.500 --> 01:44.500]  사라지는 건 아무것도 없어
[01:44.700 --> 01:55.700]  When I feel better, tell all come back
[01:55.700 --> 02:07.700]  기다리는 건 아무것도 없어
[02:07.900 --> 02:13.900]  날 사라지는 것
[02:13.900 --> 02:19.900]  날 기다리는 것
[02:19.900 --> 02:25.900]  날 바란다는 것
[02:25.900 --> 02:28.900]  날 기대하는 것
[02:28.900 --> 02:31.900]  소용없다는 것
[02:32.100 --> 02:38.100]  사라지는 것
[02:38.100 --> 02:44.100]  기다리는 것
[02:44.100 --> 02:48.100]  바래지는 것
[02:51.100 --> 02:54.100]  아무 의미 없어
[02:54.300 --> 03:05.300]  When I feel better, tell all come back
[03:05.300 --> 03:15.300]  사라지는 건 아무것도 없어
[03:15.500 --> 03:26.500]  When I feel better, tell all come back
[03:26.500 --> 03:39.500]  기다리는 것도 아무 의미 없어
[03:39.700 --> 03:50.700]  아마 난 많이 모자란 나
[03:50.700 --> 04:03.700]  그래 난 많이 유난스러웠어
[04:03.900 --> 04:14.900]  세상이 전부 뿌옇게 부럽게
[04:14.900 --> 04:20.900]  사라질 것 같지
[04:20.900 --> 04:25.900]  이 현실적으로

 

 

실제 등록된 가사

세상이 전부 뿌옇게 그렇게
사라질 것 같이 비현실적으로
어렴풋이 다 선명하게 밝게
돌아올 것 같이 비현실적으로

아마 난 많이 모자랐나 봐
그래 난 많이 유난스러웠어

When I feel better, then I’ll come back
사라지는 건 아무것도 없어
When I feel better, then I’ll come back
기다리는 건 아무 의미 없어

나 사라지는 건
날 기다리는 건
뭘 바란다는 건
더 기대하는 건
소용없다는 것
사라지는 건
기다리는 건
바래지는 건
아무 의미 없어

When I feel better, then I’ll come back
사라지는 건 아무것도 없어
When I feel better, then I’ll come back
기다리는 것도 아무 의미 없어

아마 난 많이 모자랐나 봐
그래 난 많이 유난스러웠어

세상이 전부 뿌옇게 부럽게
사라질 것 같이 비현실적으로

 

large model은 내 컴의 메모리가 딸려서 돌려 볼 수는 없을 것 같다.

small model은 코러스 같은 부분은 인식을 못한 거 같다.

medium model은 코러스 부분도 잘 가져오는데 조금씩 삐꾸가 난다.. 그래도 한글인데 훌륭하게 인식했다고 본다.

 

이걸 어딘가에 잘 활용해 봐야 헸다.