在 iPhone 上即時翻譯 YouTube 直播的完整教學

在 iPhone 上即時翻譯 YouTube 直播的完整教學

Jane
Jane
發佈於:

日本廠商的新品發表會正在直播,講的是日文。韓國團體開了一場韓文直播。你想追一個英文的遊戲實況。手上只有 iPhone,你想照平常的方式用 YouTube 應用程式看,同時讓字幕跟著現在的聲音跑。

在 iPhone 上,可用的方法其實不多。YouTube 自己的自動翻譯字幕只在頻道主開啟自動字幕的直播才會出現,延遲明顯,而且很多直播乾脆把字幕關掉。iOS 的「即時字幕」只把聲音轉成文字,不會換語言,日文的聲音變成日文的字,對你沒有幫助。

Apple 的即時翻譯已經支援中文(iOS 26.1 起加入國語),而且在裝置上處理,隱私方面是市面上最乾淨的做法。但有兩個限制要先講清楚:它只支援國語,不支援粵語;而且它是為了面對面的對話設計的,沒有辦法取得應用程式裡播放的影片聲音,所以用不到 YouTube 直播上。這篇文章處理的正好是這一塊。

App Store 上號稱「即時翻譯」的應用程式,多半會落到兩種妥協之一:用麥克風收音(把 YouTube 開擴音放大聲,然後祈禱周圍不要太吵),或是把你導回瀏覽器(等於離開 YouTube 應用程式)。Whisperr 兩者都不是。它用 iOS 官方的 BroadcastExtension API 直接接收 YouTube 應用程式的聲音,再把翻譯字幕用子母畫面疊在 YouTube 上方。

這個方法可以翻譯什麼

iPhone 應用程式能取得聲音的來源如下,日常真的需要翻譯的大致都涵蓋了。

來源應用程式

涵蓋範圍

YouTube

直播、首播、一般影片、Shorts

Instagram

直播、Reels、限時動態

TikTok

直播、一般影片、外語創作者

Safari 分頁、Twitch、Spotify、電話應用程式的聲音,目前的廣播擷取模式還不支援。如果需要翻譯這些來源,用筆電開網頁版是現階段比較實際的做法。

操作步驟

1. 安裝 iPhone 應用程式

App Store 下載 Whisperr 並開啟。有免費方案,可以先用真正的直播試過再決定要不要付費。

2. 選擇來源語言與目標語言

new conversation.png

在主畫面上方的錄音列點語言選單。

  • 來源語言 … 直播使用的語言(日文、英文、韓文等)
  • 目標語言 … 你想閱讀的語言(中文)

支援超過 100 種語言組合,包含東亞、東南亞、南亞、中東、歐洲各語言與主要地區方言。

3. 開始廣播

點錄音圖示,選「Third Party App」,再點「開始廣播」。

三秒後開始擷取。動態島上的紅色標示(舊機型是狀態列的紅色橫條)代表廣播進行中。

4. 開啟 YouTube 播放直播

切換到 YouTube 應用程式,找到要翻譯的直播並播放。切換方式照你平常的習慣就好。

YouTube 的聲音一出來,Whisperr 就會透過 BroadcastExtension 開始擷取。擷取聲音不會讓直播靜音,喇叭和耳機都聽得到,跟平常一樣。

5. 結束後停止廣播

點動態島或狀態列的紅色標示,選「停止」。或直接點錄音列上浮動字幕視窗的「×」。

為什麼 iPhone 內建功能不夠用

YouTube 的自動翻譯字幕只在頻道主開啟自動字幕時才有。就算開了,延遲也明顯,而且直播常常整個關掉。翻譯品質也比專門的翻譯服務粗糙。

iOS 即時字幕是把聲音轉成文字的輔助使用功能,不會換語言,日文的聲音不會變成中文的字幕。

Apple 翻譯應用程式的對話模式假設兩個人輪流說話、每次都會停頓,不適合一路不停的直播聲音。

Google 翻譯在台灣和香港仍然是大家最熟悉的工具,面對面對話也夠用,但同樣沒有辦法取得應用程式內播放的影片聲音。要翻譯螢幕上發出來的聲音時,就需要換一種做法。

換句話說,如果你要在 iPhone 上即時翻譯 YouTube 直播,而且希望字幕直接疊在 YouTube 應用程式上方,目前唯一可行的路就是使用 BroadcastExtension 的應用程式。

比其他做法好在哪裡

字幕真的浮在 YouTube 上方。 子母畫面視窗在你切換應用程式時仍會留著,不必分割畫面,也不必看另一個分頁。App Store 上多數「翻譯浮層」應用程式做不到這件事,因為 iOS 基於安全考量限制了在其他應用程式上方繪製的行為,只有使用子母畫面、BroadcastExtension 這類官方機制的應用程式才辦得到。

直接取得 YouTube 的聲音。 麥克風的做法只能把直播開大聲,然後希望蓋得過環境噪音。Whisperr 拿到的是 YouTube 應用程式輸出的聲音本身。進去的聲音乾淨,出來的翻譯就乾淨,在有配樂、語速快、口音重的直播上差別特別明顯。

是翻譯,不是聽寫。 即時字幕只是把同一種語言變成文字,Whisperr 則在 100 種以上語言之間翻譯。

一次訂閱,看到飽。 沒有單場計費,沒有分鐘計費,也沒有把字幕鎖在高階方案的設計。

冷門語言也涵蓋。 多數 iPhone 翻譯應用程式在前 30 種語言表現不錯,之後就急速下滑。粵語遊戲實況、他加祿語新聞、波蘭語電競這些「寫著支援但其實不太能用」的語言也在範圍內。

運作原理

用到 iOS 的兩個機制。

BroadcastExtension 是 iOS 官方用來擷取前景應用程式聲音的方式,跟螢幕錄影工具使用的是同一組 API。當你點「開始廣播」,接下來切換到的應用程式聲音就會即時交給 Whisperr。沒有越獄,沒有輔助使用權限,也沒有改寫音訊路徑的旁門左道。

子母畫面就是切換應用程式後影片仍在小視窗裡繼續播放的那個功能。Whisperr 在那個視窗裡放的不是影片而是字幕,所以不需要特殊權限就能疊在 YouTube 上方,切換應用程式時也不會消失。

擷取到的聲音會送到伺服器,完成原文聽寫與譯文產生後,再以字幕的形式回到視窗上。

常見問題

Instagram 直播或 TikTok 直播也可以嗎

可以,步驟一樣。在 Whisperr 開始廣播,切到 Instagram 或 TikTok 打開直播,字幕視窗就會浮在上面。直播、一般影片、Reels、Shorts 都涵蓋。

Twitch、Kick、新聞網站的內嵌播放器等其他來源,請改用筆電上的網頁版。支援更多應用程式是後續的工作。

使用 AirPods 或藍牙耳機還能用嗎

可以。聲音擷取發生在音訊送往輸出裝置之前的系統層,AirPods、AirPods Pro、AirPods Max 或其他藍牙耳機都正常。你會一邊用耳機聽直播的聲音,一邊在子母畫面視窗讀翻譯。

會用掉多少行動網路和電量

因為要持續把聲音送到伺服器,用量和視訊通話差不多。如果打算追一整場長時間的直播,接著電源會比較保險。

聲音在哪裡處理,會被保存嗎

聲音即時處理,不會長期保存在伺服器上。留在帳號裡的是雙語逐字記錄,你隨時可以匯出或刪除。

下一場直播就試試

流程學一次就會了。選語言、開始廣播、切到 YouTube,字幕就會出現在畫面上方。

到 App Store 下載 iPhone 應用程式