語音 AI 研究領域的領導者 ElevenLabs 發布了全新 AI 模型「Dubbing v2」,旨在更自然地翻譯與配音影片及語音內容。
「Dubbing v2」的核心進步在於其品質超越了傳統翻譯,實現了「傳達情感與表演語調」的效果。它在轉換為其他語言時,能精確保留原始說話者的語調、停頓、呼吸與細膩情感,從而打造出更自然且具臨場感的配音體驗。
此外,該技術還能自動且全面地應用以下功能: - 自動應用語音克隆(Voice Cloning):在轉換語言時維持說話者原本的音質。 - 多話者識別(Speaker separation):針對包含多名說話者的內容,支援反映每位說話者特徵的多語言配音。 - 保留背景音樂與環境音:在不損害背景音樂或環境音的情況下,自然地整合翻譯後的語音。
「Dubbing v2」支援超過 90 種語言與口音,能協助將日本的動畫、遊戲、播客、講座及企業影片等豐富的內容資產推向全球觀眾。目前該功能已可在 ElevenLabs 的 UI 上使用,未來也預計將提供 API,供企業將其整合至大規模的內容製作工作流中。
FACT BOX · 重點整理
- 來源:PR TIMES
- 分類:新品
- 產品、服務:Dubbing v2 / ElevenLabs UI