iPhoneでYouTubeライブ配信をリアルタイム翻訳する方法

韓国のアイドルグループが韓国語でライブ配信を始めた。海外メーカーの新製品発表会が英語で流れている。中国語のゲーム配信を追いかけたい。手元にあるのは iPhone だけで、いつもどおり YouTube アプリで見ながら、いま流れている音声に字幕を付けたい。そういう場面の話です。

iPhone で使える手段は、実は限られています。YouTube 自身の自動翻訳字幕は、配信者が自動字幕を有効にしている配信でしか出ず、遅れも大きく、ライブ配信では字幕そのものを切っていることが少なくありません。iOS の「ライブキャプション」は音声を文字にするだけで、言語をまたいだ翻訳はしません。日本語で聞きたいのに英語のまま文字になっても、目的は果たせないわけです。

App Store にある「リアルタイム翻訳」を名乗るアプリの多くは、次のどちらかに落ち着きます。マイクで拾う方式（YouTube をスピーカーで大きめに再生し、周囲の雑音に負けないことを祈る）か、ブラウザに戻される方式（YouTube アプリを離れることになる）です。Whisperr の iPhone アプリはそのどちらでもありません。iOS 公式の BroadcastExtension API で YouTube アプリの音声を直接受け取り、翻訳字幕をピクチャ・イン・ピクチャで YouTube の上に重ねます。YouTube はいつもどおり見て、字幕はその上に出る、という形です。

この記事では、その手順を最初から最後まで説明します。

この方法で翻訳できるもの

iPhone アプリが音声を取り込めるのは、次のアプリです。実際に翻訳したくなるものはだいたい入っています。

Safari のタブ、Twitch、Spotify、電話アプリなどの音声は、現時点のブロードキャスト取り込みでは対象外です。それらを翻訳したい場合は、パソコンでウェブ版を使うのが現実的な方法になります。

手順

1. iPhone アプリをインストールする

App Store から Whisperr を入手して開きます。無料プランがあるので、課金する前に実際の配信で試せます。

2. 翻訳元と翻訳先の言語を選ぶ

ホーム画面上部の録音バーで、言語のドロップダウンをタップします。

• 翻訳元 … 配信で話されている言語（韓国語、英語、中国語など）
• 翻訳先 … 読みたい言語（日本語）

100 を超える組み合わせに対応しています。東アジア、東南アジア、南アジア、中東、ヨーロッパの各言語と、主要な地域方言が含まれます。

3. ブロードキャストを開始する

録音アイコンをタップし、「Third Party App」を選んで「ブロードキャストを開始」をタップします。

3 秒のカウントダウンのあと収録が始まります。Dynamic Island の赤い表示（旧機種ではステータスバーの赤い帯）が、ブロードキャスト中であることを示します。

4. YouTube を開いてライブ配信を再生する

YouTube アプリに切り替えて、翻訳したいライブ配信を再生します。切り替え方はいつもどおりで構いません。

YouTube の音声が鳴り始めた瞬間から、Whisperr が BroadcastExtension 経由でその音声を取り込み始めます。音声取り込みによって配信の音が消えることはありません。スピーカーからもイヤホンからも、これまでどおり聞こえます。

5. 終わったらブロードキャストを停止する

Dynamic Island またはステータスバーの赤い表示をタップして「停止」を選びます。録音バーのフローティング字幕ウィンドウの「×」をタップしても止まります。

iPhone の標準機能では足りない理由

「iPhone だけで YouTube のライブ配信を翻訳できないのか」という疑問には、正直に答えておきます。

YouTube の自動翻訳字幕は、配信者が自動字幕を有効にしている配信でしか使えません。有効になっていても音声からの遅れが大きく、ライブ配信では字幕自体を無効にしていることがよくあります。翻訳の質も、専用の翻訳サービスと比べると粗くなりがちです。

iOS のライブキャプションは、音声を文字に起こす機能であって、言語を変換する機能ではありません。アクセシビリティのための機能なので、韓国語の音声から日本語の字幕は出てきません。

Apple の「翻訳」アプリの会話モードは、二人が交互に話して、そのたびに間を置くことを前提に作られています。止まらずに流れ続ける配信の音声には向きません。

ポケトークや VoiceTra のような、日本でよく知られた翻訳ツールも同じ制約を持ちます。目の前の会話には強い一方で、iPhone のアプリ内で鳴っている音声を取り込む仕組みがありません。

つまり、iPhone で YouTube のライブ配信をリアルタイムに翻訳し、しかも字幕を YouTube アプリの上に重ねたい場合、BroadcastExtension を使うアプリが現時点で唯一の道ということになります。

他の方法より優れている点

YouTube の上に本当に字幕が重なります。 ピクチャ・イン・ピクチャのウィンドウは、アプリを切り替えても表示されたままです。画面を分割する必要も、別のタブを見る必要もありません。App Store の「翻訳オーバーレイ」を名乗るアプリの多くはこれができません。iOS はセキュリティ上の理由で他アプリの上への描画を制限しており、ピクチャ・イン・ピクチャや BroadcastExtension のような公式の仕組みを使うアプリだけが実現できるためです。

YouTube の音声を直接取り込みます。 マイク方式やブラウザ方式では、配信をスピーカーで大きく鳴らし、周囲の雑音に負けないことを祈るしかありません。Whisperr は YouTube アプリから出てくる音声そのものを受け取ります。入る音がきれいであれば、出てくる翻訳もきれいになります。音楽が乗る配信、早口の配信、訛りのある話し方では、この差がはっきり出ます。

文字起こしではなく翻訳です。 ライブキャプションは同じ言語のまま文字にするだけですが、Whisperr は 100 以上の言語ペアで翻訳します。韓国語の配信が日本語の字幕になって画面に出ます。

追加料金なしで見放題です。 配信ごとの課金も、分単位の課金も、「字幕は上位プラン」という区切りもありません。年に一本見ても毎日見ても料金は同じです。

対応言語が広いことです。 iPhone 向けの翻訳アプリの多くは、上位 30 言語ほどは問題なく、それ以外で急に精度が落ちます。広東語のゲーム配信、タガログ語のニュース、ポーランド語の e スポーツなど、「対応」と書いてあっても実用にならないことが多い言語まで含めて対応しています。

仕組みについて

iOS の二つの機能を組み合わせています。

BroadcastExtension は、前面で動いているアプリの音声を取り込むための iOS 公式の仕組みです。画面収録ツールが使っているのと同じ API で、「ブロードキャストを開始」をタップすると、そのあとに切り替えたアプリの音声が Whisperr にリアルタイムで渡されます。脱獄も、アクセシビリティ権限も、音声経路を書き換えるような裏技も使っていません。

ピクチャ・イン・ピクチャは、アプリを切り替えても動画が小さなウィンドウで再生され続ける、あの機能です。Whisperr はそのウィンドウの中に動画ではなく字幕を表示しています。だから特別な権限なしに YouTube の上に重ねられ、アプリを移動しても消えません。

取り込んだ音声はサーバーに送られ、元の言語での文字起こしと訳文の生成を行って、字幕としてウィンドウに戻ってきます。

よくある質問

Instagram ライブや TikTok ライブでも使えますか

使えます。手順は同じです。Whisperr でブロードキャストを開始し、Instagram または TikTok に切り替えて配信を開けば、フローティング字幕のウィンドウが上に出ます。ライブ配信でも通常の動画でも、リールでもショートでも構いません。

Twitch や Kick、ニュースサイトの埋め込みプレーヤーなど、それ以外の配信元については、パソコンでウェブ版を使ってください。対応アプリの追加は今後の課題です。

AirPods やワイヤレスイヤホンを使っていても動きますか

動きます。音声の取り込みは、出力先の機器に音が回る前のシステム階層で行われます。AirPods、AirPods Pro、AirPods Max、その他のワイヤレスイヤホンのいずれでも問題ありません。配信の音はイヤホンで聞きながら、訳文はピクチャ・イン・ピクチャのウィンドウで読む、という使い方になります。

通信量やバッテリーはどうなりますか

音声をサーバーに送り続けるため、通信量とバッテリーの消費はビデオ通話と同程度です。長時間の配信を追う場合は電源につないでおくのが安全です。

音声はどこで処理され、保存されますか

音声はリアルタイムに処理され、サーバー上に保存され続けることはありません。アカウントに残るのは二言語の記録テキストで、これはいつでも書き出しや削除ができます。

次のライブ配信で試す

手順は一度覚えれば終わりです。言語を選んで、ブロードキャストを開始して、YouTube に切り替える。あとは画面の上に字幕が出てきます。

App Store から iPhone アプリを入手する