看懂・字幕指南
沒字幕的影片怎麼自動產生中文字幕?先聽寫,再翻繁中
沒字幕的本機影片,要先用語音辨識把對白轉成原文,再翻成中文字幕。看懂用 whisper.cpp 聽寫、Hy-MT2 翻譯;除了翻譯模型,還要準備 Whisper large-v3-turbo 語音辨識模型。
播放器已經能翻譯,為什麼碰到沒字幕的影片卻沒反應?翻譯模型要先拿到文字;影片只有聲音時,還差一個把聲音變成文字的步驟。
Whisper 負責聽,Hy-MT2 負責翻
看懂先把音訊交給 whisper.cpp,產生原文與時間軸,再把原文交給 Hy-MT2,顯示原文與繁中譯文。原文聽錯,譯文也可能跟著錯,所以遇到怪句時,先對照原文那一行。
whisper.cpp 是 Whisper 的本機執行實作。這個分工也表示:只有 Hy-MT2 模型,不能直接把一段聲音翻成中文字幕。
翻譯模型之外,還要準備語音辨識模型
先依圖文教學下載並解壓看懂。使用「一鍵下載模型」準備翻譯模型後,再選語音辨識模型;這裡下載的是模型,不是影片或字幕。
Mac 版適用 Apple 晶片,還要完成圖文教學中的 Homebrew 工具安裝。兩個翻譯模型都放進資料夾時,啟動器會依記憶體選擇;目前「模型」選單仍是預告,不能靠選單直接切換。
用「看懂」啟動,讓聽寫先累積字幕
- 準備一個自製或已取得相應處理授權、含對白的影片檔。
- 雙擊「看懂」,Mac 則用「看懂.command」。讓啟動器準備引擎,再把影片拖進播放器。
- 先用正常速度播放,等聽寫與翻譯產生內容,再確認原文和繁中是否都出現。聽寫是分段處理,不是開檔就瞬間取得整部字幕。
若畫面顯示「語音辨識跟不上」,先按 S 回到正常速度。跳轉或播放超過處理進度時,尚未完成的區段可能沒有字幕;不能把字幕空白直接判成那一段沒有對白。
字幕不對,先分辨是聽錯還是翻錯
- 原文就不對:先回聽音訊。Whisper 官方模型卡列出語言、口音與使用情況造成的表現差異,也提醒可能產生音訊中不存在的文字。
- 原文對、中文不對:再看翻譯;機器翻譯仍會出錯。
- 人名變成中文譯音:這是看懂已知限制,換大模型也不保證保留原名。
- 一直沒有字幕:確認語音辨識模型已備妥,並查看畫面訊息與啟動記錄,接著查常見問題。
完整聽寫會留在影片旁,跳過的區段不冒充完成
完整轉寫可存成影片旁的 <影片名>.ft.asr.srt,下次開啟時當成已有字幕處理。翻好的繁中另有 .ft.zh-TW.json 快取,完整翻譯後才輸出繁中 SRT。
如果播放過程曾跳過尚未轉寫的區段,程式不會把有缺口的轉寫存成完整字幕。想重看同一段,先讓聽寫補上文字;重要內容則回到聲音與原文核對。
無字幕影片能不能順利看懂,關鍵是先把原文聽對。保留原文與繁中一起看,才有機會發現錯誤發生在哪一步。
來源與適用範圍
看懂功能以本次連結的 README 與原始碼版本為準;新版介面與行為可能調整。