(최근 업데이트 20230902)
자막 제작에 전문적인 기술은 없고, 그냥 취미삼아 한 번 만들어보면서 알게 된 정보들에 대해서 정리해보려고 한다.
음성 추출하기
처음부터 외국어를 전부 알아듣고 자막을 만들 수 있다면 좋겠지만, 그게 아니라면 어느정도 프로그램의 도움을 받아야 한다. 영상의 음성을 텍스트로 추출해서 자막 파일로 만들어주는 프로그램들이 있다. 브류(VREW)와 JAutosub라는 프로그램에 대해서 소개해보려고 한다.
클로바노트
https://clovanote.naver.com/home에서 음성 파일을 올리면 된다. 영상에서 음성 파일만 추출하는 방법은 검색하면 많이 나올 것이다. (나는 샤나인코더를 이용해서 했다.)
현재는 무료이지만 시간과 파일 용량에 제한이 있다. 사용 방법은 간단하기 때문에 따로 설명하진 않겠다.
음성 추출 퀄리티는 정말 좋은 것 같다.
위스퍼 AI
누구나 1분이면 현존 최고의 자동자막을 쓸 수 있습니다. [무료 Whisper AI | 프리미어, 다빈치 리졸브, 파컷]에서 사용 방법을 배울 수 있다. 그런데 위스퍼 데스크톱이 훨씬 빠르고 편한 것 같다.
문제라면 두가지 방법 모두 문제가 있다. 제대로 음성 추출이 되지 않고 계속 같은 단어가 반복적으로 표시되는 버그이다.
그것만 해결된다면 클로바노트와 비슷하거나 더 나은 것 같기도 하다.
브류(VREW)
https://vrew.voyagerx.com/ko/에서 받을 수 있다. 설치하면 아래와 같은 화면이 뜬다.
“새 영상 파일로 시작하기”를 클릭해서 원하는 영상 파일을 선택하고 해당 영상의 언어를 선택해주면 음성을 텍스트로 추출하기 시작한다. (시간이 조금 걸린다.) 작업이 완료되면 그 프로그램 안에서도 편집할 수 있는 것 같지만, 나는 .srt 파일로 저장해서 따로 메모장이나 자막 제작 프로그램에서 편집하는 것이 더 편한 것 같다.
“파일/ 다른 형식으로 내보내기/ 자막파일”을 선택해서 srt 확장자 파일로 저장하면 된다.
퀄리티는 크게 떨어지지는 않는데 무료 용량이 크지 않고 유료를 사용할 정도까지는 아닌 것 같다.
JAutosub
JAutosub도 사용 방법은 비슷하다. https://github.com/raryelcostasouza/JAutosub에서 받을 수 있다.
“Audio Language”에서 영상의 언어를 선택하고
“Select Audio/Video File(s)를 클릭해서 영상 파일을 선택하고 “Convert”를 클릭한다. (시간이 조금 걸린다.)
작업이 완료되면 빨간색 밑줄을 그은 위치에 확장자가 srt인 자막 파일이 만들어진다.
브류(VREW)와 JAutosub 둘 다 그렇게 만족스러운 음성 인식, 추출 결과를 보여주지는 못하는 것 같다. 그저 전체적인 내용의 흐름을 파악하거나 대사가 나오는 위치를 대략적으로 파악하는데 도움을 주는 가이드 정도의 개념으로 생각하면 될 것 같다.
다시 말해서 두개의 프로그램으로 모두 추출해보고 그 결과를 비교해가면서 영상에서 원래 어떤 말을 했는지 추측하는 식으로 사용하면 될 것 같다.
(참고로 확장자가 srt와 같은 자막 파일을 팟플레이어에서 불러오는 방법은 영상의 파일명과 똑같은 파일명의 자막 파일을 동일한 곳에 놔두고 영상을 실행하거나, 영상을 실행한 상태에서 자막 파일을 영상으로 드래그하면 된다.)
20230902/
프로그램의 업데이트가 이루어지지 않는 것 같고 그래서 그런지 음성 추출 퀄리티가 너무 떨어지는 것 같다.
번역, 편집하기
만들어진 srt 자막 파일을 메모장이나 텍스트 편집프로그램으로 보면 대략 어떤 구조인지 알 수 있을 것이다. 이제 추출한 그 외국어 텍스트를 한국어로 번역해야 한다. 나는 파파고를 주로 사용했었다. 가장 자연스럽고 정확도가 높다고 판단했기 때문이다.
파파고
보통은 메모장의 텍스트를 복사해서 파파고에 붙여넣어서 번역하지만, 파파고에는 글 수 제한이 있어서 여러번 작업을 반복해야 하는 번거로움이 있다. 그래서 나는 파파고의 웹사이트 번역을 활용한다.
방법은 단순하다. 텍스트를 전부 복사해서 공개된 게시판이나 블로그에 올린 후 해당 주소를 파파고의 웹사이트 번역 기능으로 통으로 번역하는 것이다. (주의할 점은 번역을 한 이후에는 공개했던 해당 텍스트 내용을 꼭 삭제하거나 숨겨줘야 한다는 것이다. 뭐 웹상에 공개되어도 괜찮다면 상관없겠지만…)
그러면 위와 같은 결과가 나오는데 이 텍스트를 처음부터 끝까지 복사해서 다시 텍스트 편집 프로그램에 붙여넣는 것이다.
참고로 코드를 확인해서 ->로 표시된다면 -->로 일괄 변경해줘야 영상 재생 프로그램에서 정상 자막으로 인식한다. 그리고 저장할 때 인코딩은 UTF-8로 해줘야 한다.
퀄리티는 만족할 수준은 아니지만 내용을 이해하는데에는 큰 도움이 되는 것 같다.
Subtitle edit
이제 수작업, 노가다를 해야 할때가 왔다. 영상을 직접 보고 들으면서 앞의 과정에서 만들어진 자막을 고쳐줘야 한다. 틀린 부분, 어색한 부분, 빠진 부분을 전부 고치면 자막이 완성되는 것이다.
어차피 자막 파일은 단순한 구조의 텍스트 파일이기 때문에 메모장과 같은 텍스트 편집 프로그램을 사용해도 되고 좀 더 편하게 제작할 수 있는 Subtitle edit 같은 자막 제작, 편집 프로그램을 사용하면 된다. (나는 에디트플러스라는 텍스트 편집 프로그램으로 수작업으로 수정었했는데 (ㄷㄷ) Subtitle edit라는 프로그램이 자막 편집에서는 유명한 것 같다. 직접 써보지 않아서 자세한 것은 모르겠다.)
그 외에 도움이 되는 것들
외국어를 전혀 모를 때도 어느정도 꼼수를 이용하면 내용을 알아낼 수 있다. 스마트폰에서 “파파고 앱, 구글 번역 앱, 애플 번역 앱” 같은 앱을 설치해서 영상에서 들리는 외국어를 그대로 내가 입으로 말해서 입력하는 것이다. 그러면 대략적으로 어떤 의미인지 파악할 수 있다.
개인적으로 번역 결과 자체는 파파고가 가장 자연스럽다고 느꼈고, 음성 인식의 정확도 자체는 구글 번역 앱이 가장 좋았던 것 같다.
20230808/
현재는 구글 번역을 이용하고 있다.
20230827/
과거의 나는 틀렸다. 네이버 파파고가 짱인 것 같다. 훨씬 자연스럽고 이해하기 쉽게 표현해준다. 스마트폰 음성 인식도 구글 번역을 주로 썼었는데 파파고를 다시 써봐야 할 것 같다.
20230902/
음성 인식은 구글 번역이 잘 하는 것 같고, 그 내용을 번역하는 것은 파파고가 잘하는 것 같다. 그래서 나는 구글 번역 앱에서 말로 입력해서 나온 일본어를 복사해서 파파고 앱에 붙여넣어서 확인했었다.
네이버 사전도 큰 도움이 된다. 특히 들리는대로 한글로 입력해도 결과가 표시되기 때문에 좋다.
챗GPT나 구글 바드나 빙 AI 같은 서비스들도 외국어를 들리는대로 한글로 써도 어떤 의미인지 알려주긴 한다. 하지만 정확도가 많이 떨어질 때가 많다.
관련 링크
쓸때없는(?) 링크
거의 안 써볼 것 같지만 혹시나 몰라서 비슷한 서비스의 링크들을 모아봤다. (그냥 인터넷에서 찾은거 링크 정리한거다. 직접 사용 안 해봤음.)
다글로
filmora
imyfone
veed.io
audext
