看懂・字幕指南

沒字幕的影片怎麼自動產生中文字幕?先聽寫,再翻繁中

重點速答

沒字幕的本機影片,要先用語音辨識把對白轉成原文,再翻成中文字幕。看懂用 whisper.cpp 聽寫、Hy-MT2 翻譯;除了翻譯模型,還要準備 Whisper large-v3-turbo 語音辨識模型。

播放器已經能翻譯,為什麼碰到沒字幕的影片卻沒反應?翻譯模型要先拿到文字;影片只有聲音時,還差一個把聲音變成文字的步驟。

Whisper 負責聽,Hy-MT2 負責翻

看懂先把音訊交給 whisper.cpp,產生原文與時間軸,再把原文交給 Hy-MT2,顯示原文與繁中譯文。原文聽錯,譯文也可能跟著錯,所以遇到怪句時,先對照原文那一行。

whisper.cpp 是 Whisper 的本機執行實作。這個分工也表示:只有 Hy-MT2 模型,不能直接把一段聲音翻成中文字幕。

翻譯模型之外,還要準備語音辨識模型

先依圖文教學下載並解壓看懂。使用「一鍵下載模型」準備翻譯模型後,再選語音辨識模型;這裡下載的是模型,不是影片或字幕。

翻譯模型

README 建議記憶體 8GB 或較舊的電腦用 Hy-MT2 1.8B,16GB 以上用 7B。模型檔約為 1.1GB 與 4.6GB;檔案大小不等於執行時只需要同樣多的記憶體。

語音辨識模型

Whisper large-v3-turbo 約 574MB。原本已有可用文字字幕的影片不需要這一步;無字幕或只有圖形字幕時才需要。

Mac 版適用 Apple 晶片,還要完成圖文教學中的 Homebrew 工具安裝。兩個翻譯模型都放進資料夾時,啟動器會依記憶體選擇;目前「模型」選單仍是預告,不能靠選單直接切換。

用「看懂」啟動,讓聽寫先累積字幕

  1. 準備一個自製或已取得相應處理授權、含對白的影片檔。
  2. 雙擊「看懂」,Mac 則用「看懂.command」。讓啟動器準備引擎,再把影片拖進播放器。
  3. 先用正常速度播放,等聽寫與翻譯產生內容,再確認原文和繁中是否都出現。聽寫是分段處理,不是開檔就瞬間取得整部字幕。

若畫面顯示「語音辨識跟不上」,先按 S 回到正常速度。跳轉或播放超過處理進度時,尚未完成的區段可能沒有字幕;不能把字幕空白直接判成那一段沒有對白。

字幕不對,先分辨是聽錯還是翻錯

完整聽寫會留在影片旁,跳過的區段不冒充完成

完整轉寫可存成影片旁的 <影片名>.ft.asr.srt,下次開啟時當成已有字幕處理。翻好的繁中另有 .ft.zh-TW.json 快取,完整翻譯後才輸出繁中 SRT。

如果播放過程曾跳過尚未轉寫的區段,程式不會把有缺口的轉寫存成完整字幕。想重看同一段,先讓聽寫補上文字;重要內容則回到聲音與原文核對。

無字幕影片能不能順利看懂,關鍵是先把原文聽對。保留原文與繁中一起看,才有機會發現錯誤發生在哪一步。

來源與適用範圍

看懂功能以本次連結的 README 與原始碼版本為準;新版介面與行為可能調整。