아이폰에서 유튜브 라이브 방송을 실시간 번역하는 방법

일본 기업의 신제품 발표회가 일본어로 중계되고 있습니다. 영어권 게임 스트리머가 라이브를 켰습니다. 중국어 방송을 따라가고 싶습니다. 손에 있는 건 아이폰뿐이고, 평소처럼 유튜브 앱으로 보면서 지금 나오는 소리에 자막을 붙이고 싶습니다.

아이폰에서 쓸 수 있는 방법은 생각보다 적습니다. 유튜브의 자동 번역 자막은 방송자가 자동 자막을 켜둔 방송에서만 나오고, 소리보다 많이 늦으며, 라이브 방송에서는 아예 자막을 꺼두는 경우가 흔합니다. iOS의 실시간 캡션은 소리를 글자로 옮겨줄 뿐 언어를 바꾸지 않습니다. 일본어 방송이 일본어 글자로 나와도 소용이 없는 셈입니다.

애플의 실시간 번역은 한국어를 지원합니다. iOS 26.1부터 한국어가 목록에 들어갔고, 기기 안에서 처리되기 때문에 개인정보 측면에서는 가장 깔끔합니다. 다만 이 기능은 눈앞의 대화를 위해 만들어졌습니다. 앱 안에서 재생되는 영상 소리를 가져오는 통로가 없어서, 유튜브 라이브에는 쓸 수 없습니다. 이 글이 다루는 상황이 정확히 그 지점입니다.

App Store에 있는 실시간 번역 앱 대부분은 둘 중 하나로 타협합니다. 마이크로 듣거나(유튜브를 스피커로 크게 틀고 주변 소음에 지지 않기를 바라는 방식), 브라우저로 돌려보내거나(유튜브 앱을 떠나야 하는 방식)입니다. Whisperr 아이폰 앱은 둘 다 아닙니다. iOS 공식 BroadcastExtension API로 유튜브 앱의 소리를 직접 받아, 번역 자막을 픽처 인 픽처 창으로 유튜브 위에 올립니다.

이 방법으로 번역할 수 있는 것

아이폰 앱이 소리를 가져올 수 있는 앱은 다음과 같습니다. 실제로 번역이 필요한 것들은 대체로 들어 있습니다.

사파리 탭, 치지직, SOOP, 스포티파이, 전화 앱의 소리는 현재 방송 캡처 방식으로는 지원하지 않습니다. 이런 소리를 번역해야 한다면 노트북에서 웹 앱을 쓰는 것이 현실적인 방법입니다.

단계별 방법

1. 아이폰 앱 설치하기

App Store에서 Whisperr를 받아 실행합니다. 무료 요금제가 있어서 결제 전에 실제 방송으로 확인해볼 수 있습니다.

2. 원본 언어와 번역할 언어 고르기

홈 화면 위쪽 녹음 바에서 언어 선택 항목을 누릅니다.

• 원본 언어 … 방송에서 사용하는 언어(일본어, 영어, 중국어 등)
• 번역할 언어 … 읽고 싶은 언어(한국어)

100개가 넘는 조합을 지원합니다. 동아시아, 동남아시아, 남아시아, 중동, 유럽 언어와 주요 지역 방언이 포함됩니다.

3. 방송 시작하기

녹음 아이콘을 누르고 Third Party App을 고른 뒤 방송 시작을 누릅니다.

3초 뒤 수집이 시작됩니다. 다이내믹 아일랜드의 빨간 표시(구형 기기는 상태 표시줄의 빨간 띠)가 방송 중임을 알려줍니다.

4. 유튜브를 열고 라이브 방송 재생하기

유튜브 앱으로 전환해 번역하려는 라이브 방송을 재생합니다. 전환 방법은 평소 하던 대로면 됩니다.

유튜브 소리가 나오기 시작하는 순간부터 Whisperr가 BroadcastExtension을 통해 그 소리를 가져옵니다. 소리를 가져간다고 방송 소리가 꺼지지는 않습니다. 스피커로도 이어폰으로도 평소처럼 들립니다.

5. 끝나면 방송 중지하기

다이내믹 아일랜드나 상태 표시줄의 빨간 표시를 누르고 중지를 고릅니다. 녹음 바의 자막 창에서 ×를 눌러도 멈춥니다.

아이폰 기본 기능으로는 왜 안 되는가

유튜브 자동 번역 자막은 방송자가 자동 자막을 켜둔 방송에서만 나옵니다. 켜져 있어도 소리보다 많이 늦고, 라이브 방송에서는 꺼두는 경우가 많습니다. 번역 품질도 전용 번역 서비스보다 거칩니다.

iOS 실시간 캡션은 소리를 글자로 옮기는 접근성 기능입니다. 언어를 바꾸지 않으므로 일본어 소리에서 한국어 자막은 나오지 않습니다.

애플 번역 앱의 대화 모드는 두 사람이 번갈아 말하고 그때마다 잠깐 멈추는 것을 전제로 만들어졌습니다. 끊기지 않고 흐르는 방송 소리에는 맞지 않습니다.

네이버 파파고는 한국어와 일본어, 중국어 사이의 번역 품질이 여전히 가장 자연스럽습니다. 다만 파파고 역시 앱 안에서 재생되는 영상 소리를 가져오지 못합니다. 눈앞의 대화라면 파파고를 먼저 써보시고, 화면에서 나오는 소리를 번역해야 할 때 이 방법으로 넘어오시면 됩니다.

다른 방법보다 나은 점

유튜브 위에 자막이 실제로 뜹니다. 픽처 인 픽처 창은 앱을 옮겨도 그대로 남습니다. 화면을 나눌 필요도, 다른 탭을 볼 필요도 없습니다. App Store의 번역 오버레이 앱 상당수가 이걸 못 합니다. iOS가 보안상 다른 앱 위에 그리는 것을 제한하고 있어서, 픽처 인 픽처나 BroadcastExtension 같은 공식 통로를 쓰는 앱만 가능합니다.

유튜브 소리를 직접 가져옵니다. 마이크 방식은 방송을 크게 틀어놓고 주변 소음에 지지 않기를 바라는 수밖에 없습니다. Whisperr는 유튜브 앱에서 나오는 소리 자체를 받습니다. 들어가는 소리가 깨끗하면 나오는 번역도 깨끗해집니다. 음악이 깔리는 방송, 말이 빠른 방송, 억양이 강한 방송에서 차이가 분명합니다.

받아쓰기가 아니라 번역입니다. 실시간 캡션은 같은 언어로 글자만 만들지만, Whisperr는 100개가 넘는 언어쌍으로 번역합니다.

추가 요금 없이 계속 볼 수 있습니다. 방송별 과금도, 분 단위 과금도, 자막이 상위 요금제에만 있는 구분도 없습니다.

덜 알려진 언어까지 지원합니다. 아이폰 번역 앱 대부분은 상위 30개 언어까지는 괜찮고 그 뒤로 급격히 나빠집니다. 광둥어 게임 방송, 타갈로그어 뉴스, 폴란드어 e스포츠처럼 "지원"이라고 적혀 있어도 실제로는 쓰기 어려운 언어까지 포함합니다.

어떤 원리인가

iOS의 두 기능을 함께 씁니다.

BroadcastExtension은 앞에서 실행 중인 앱의 소리를 가져오는 iOS 공식 방식입니다. 화면 녹화 도구가 쓰는 것과 같은 API로, 방송 시작을 누르면 그 뒤에 전환한 앱의 소리가 Whisperr로 실시간 전달됩니다. 탈옥도, 접근성 권한도, 소리 경로를 바꾸는 편법도 쓰지 않습니다.

픽처 인 픽처는 앱을 옮겨도 영상이 작은 창으로 계속 재생되는 그 기능입니다. Whisperr는 그 창 안에 영상 대신 자막을 넣습니다. 그래서 특별한 권한 없이 유튜브 위에 뜨고, 앱을 옮겨도 사라지지 않습니다.

가져온 소리는 서버로 보내져 원본 언어 받아쓰기와 번역을 거친 뒤 자막으로 창에 돌아옵니다.

자주 묻는 질문

인스타그램 라이브나 틱톡 라이브에서도 되나요

됩니다. 순서는 같습니다. Whisperr에서 방송을 시작하고 인스타그램이나 틱톡으로 전환해 라이브를 열면 자막 창이 위에 뜹니다. 라이브든 일반 영상이든, 릴스든 쇼츠든 상관없습니다.

치지직, SOOP, 트위치, 뉴스 사이트의 내장 플레이어 등 그 밖의 방송은 노트북에서 웹 앱을 쓰시면 됩니다. 대응 앱 확대는 앞으로의 과제입니다.

에어팟이나 무선 이어폰을 써도 되나요

됩니다. 소리 수집은 출력 기기로 소리가 가기 전 시스템 단계에서 이뤄집니다. 에어팟, 에어팟 프로, 에어팟 맥스, 다른 무선 이어폰 모두 정상 동작합니다. 방송 소리는 이어폰으로 들으면서 번역은 픽처 인 픽처 창으로 읽는 방식이 됩니다.

데이터와 배터리는 얼마나 쓰나요

소리를 계속 서버로 보내기 때문에 영상 통화와 비슷한 수준입니다. 긴 방송을 따라갈 계획이라면 충전기를 연결해두는 편이 안전합니다.

소리는 어디서 처리되고 저장되나요

소리는 실시간으로 처리되며 서버에 계속 보관되지 않습니다. 계정에 남는 것은 두 언어로 된 기록이고, 언제든 내보내거나 삭제할 수 있습니다.

다음 라이브 방송에서 해보기

순서는 한 번만 익히면 끝입니다. 언어를 고르고, 방송을 시작하고, 유튜브로 넘어가면 화면 위에 자막이 올라옵니다.

App Store에서 아이폰 앱 받기