ElevenLabs Dubbingでできること
ElevenLabs Dubbingは、話し声とBGMや効果音を分け、話者を判別してから会話を別の言語へ置き換えます。BGMや効果音を残したまま処理できるため、元動画の音を一から作り直す必要はありません。複数人が話す動画にも対応し、公式文書では1ファイルにつき9人までを推奨しています。
利用できる素材は、動画と音声のファイルだけではありません。YouTube、X、TikTok、Vimeoなどで公開されているコンテンツは、URLを指定して読み込めます。
ただし、公開URLがあることと、吹き替え版を制作・配信できることは別です。自社で権利を管理している素材か、必要な許諾を得た素材に限って使用します。音声合成そのものを比較検討したい場合は、Higgsfield Audio TTS 完全ガイドで他社の音声モデルと合わせて確認できます。
出典：ElevenLabs Documentation「Dubbing」（ログインせず閲覧できる引用）
動画を日本語へ吹き替える基本手順
自動吹き替えは、次の順番で進めます。
- Dubbingの画面で動画・音声ファイルをアップロードするか、公開動画のURLを入力する
- 元の言語と、出力したい言語を選ぶ
- 必要に応じて、元の声にどこまで似せるかを調整し、処理を始める
- 完成した動画を最初から最後まで確認する
- 問題がなければ書き出す
公式文書によると、自動吹き替えへアップロードできるファイルは最大2GB、長さは180分までです。日本語も出力先に選べます。無料プランで作成した吹き替えには透かしが入り、有料プランでは透かしが入りません。
元の声に近づける設定を強くしても、必ず自然な吹き替えになるとは限りません。声は似やすくなる一方、元の言語の訛りまで残ったり、発音が不自然になったりすることがあります。まず短い検証用ファイルを初期設定で処理し、聞き比べながら必要な分だけ調整するのが安全です。
Dubbing v2とDubbing Studioの違い
執筆時点で通常画面から作成する自動吹き替えには、Dubbing v2 Alphaが使われます。細かい編集をせず、動画全体を自動で吹き替える場合はこちらを使います。v2はアルファ版で、リアルタイム吹き替えには対応していません。
Dubbing Studioは、台詞の文字起こしや翻訳、話者の割り当て、音声を作り直す区間を細かく修正するための編集画面です。ただし、利用できるのは旧世代のv1だけです。v2で作った自動吹き替えを、後からDubbing Studioへ移して編集することはできません。
出典：ElevenLabs Documentation「Dubbing」（ログインせず閲覧できる引用）
ElevenLabsはDubbing Studioについて、重大な不具合の修正だけを続け、新機能は追加しないと案内しています。これから制作手順を決める場合は、細部を直せるという理由だけで旧v1に固定せず、v2で得られる仕上がりと、ほかの編集ソフトで修正する場合の手間を比べて判断します。編集ソフト側の役割分担は、AI画像編集ツールの選び方で整理した基準を、音声・字幕まわりの選定にも応用できます。
自動吹き替えで確認したい3つの項目
自動処理が終わったら、少なくとも「内容」「聞こえ方」「映像とのずれ」を分けて確認します。
内容では、商品名、固有名詞、数字、否定表現が正しく訳されているかを見ます。ブランド名や専門用語は、一般的な翻訳では別の言葉へ置き換わることがあります。
聞こえ方では、話者が変わる箇所、感情の強い台詞、早口の部分を重点的に聞きます。元の声に似ていても、日本語として不自然な間や抑揚が残っていれば、そのまま公開しません。
映像とのずれでは、話し始めと話し終わり、口元が大きく映る場面、画面内の字幕との関係を確認します。ElevenLabsのDubbing自体にはリップシンク機能が含まれていないため、口元まで合わせる場合は別の工程が必要です。
Dubbing Studioで直せる範囲
v1のDubbing Studioでは、文字起こしと翻訳文を直接修正できます。話者を別の音声トラックへ移し、区間の長さを変え、選んだ区間だけ音声を作り直すこともできます。書き出しはAAC、MP3、WAVのほか、字幕用のSRT、編集情報を含むAAFやCSVに対応しています。
台詞を増減した場合は、区間の長さと発話の速さを一緒に確認します。決められた区間へ長い日本語を押し込むと、早口になりすぎることがあります。自然な日本語へ直すだけでなく、元の映像へ収まる長さに整える作業が必要です。
利用前に確認したい権利と公開条件
吹き替えでは、映像の権利に加えて、出演者の声を別言語で再現する許諾が必要です。社内動画や自社広告であっても、出演契約が音声の複製やAIによる声の再現まで含んでいるとは限りません。
ElevenLabsの一般利用規約では、無料ユーザーがサービスと出力を使えるのは非商用目的に限られます。有料ユーザーは、利用規約や禁止用途に関する方針を守る範囲で商用利用できます。
素材や出演者の許諾とは別に、Dubbing v2の出力には利用先の制限があります。ElevenLabsの個別規約は、映画、テレビ番組やシリーズ、脚本付きの配信作品、ストリーミングやVODの配信サービス、劇場公開、そのほか商業配信を目的とする同種の映像作品を制限の対象に挙げています。これらの作品で使うには、ElevenLabsと別途交わすEnterpriseプランの契約書または注文書で、利用を明示的に認めてもらう必要があります。
一方、YouTube、TikTok、Instagramのように、利用者自身が動画などを投稿するサービスで公開するコンテンツは、この制限の対象外です。この個別規約が適用されるのはDubbing v2だけで、v1を含むほかの吹き替え製品やサービスの利用条件を変更するものではありません。
制作前に、映像・音声の利用範囲、出演者の同意、公開する国や媒体、利用期間を確認します。翻訳後の台詞が元の発言と異なる意味になっていないか、公開前に話者本人または担当者が確認できる体制も用意しておくと安全です。海外向けに配信する場合は、AI生成物の表示義務の国別比較で公開先ごとの表示ルールもあわせて確認してください。
仕事で使う場合は生成記録を残す
企業案件で吹き替えを使う場合は、後から制作過程を確認できるように記録を残します。少なくとも次の項目を保存しておくと、公開後の照会や差し戻しに対応しやすくなります。
- 元素材の権利元と出演者の許諾範囲（音声のAI再現を含むか）
- 使用したモデル名（Dubbing v2 Alpha／v1 Dubbing Studio）とその日付
- 入力言語・出力言語・元の声にどこまで似せる設定
- 公開先のサービスと、Dubbing v2の個別規約に該当するかどうかの判断
- 検品担当者、話者本人または担当者の確認結果
同じDubbingの画面から作成した吹き替えでも、選んだモデルと公開先で確認すべき条件が変わります。項目立ての例は、AI生成物の制作記録には何を残すかで汎用テンプレートとして整理しています。AI音声を含む出力の表示・開示については、AI生成コンテンツの表示ルールとメタデータも合わせて確認してください。
公式動画で操作の流れを見る
ElevenLabsの公式動画では、公開動画のURLを入力し、出力言語を選んで吹き替えを作る一連の操作を確認できます。動画タイトルにある「29言語」は公開当時の案内で、執筆時点の公式文書では90以上の言語に対応しています。操作の流れを知る資料として参照してください。
動画：ElevenLabs 公式チャンネルより引用
よくある質問
ElevenLabsの吹き替えは日本語に対応していますか？
日本語は入力・出力の両方で選べます。公式ドキュメントによれば、自動吹き替えは日本語を含む90以上の言語に対応しています。ただし、対応言語であることと、そのまま公開できる自然さで仕上がることは別です。短い検証用ファイルで、固有名詞、数字、否定表現、話者切り替えの部分を先に確認してください。
無料プランでも吹き替えを試せますか？透かしは入りますか？
無料プランでも自動吹き替えを試せますが、出力には透かしが入ります。透かしのない吹き替えを書き出すには、有料プランへの切り替えが必要です。無料ユーザーがサービスと出力を利用できる範囲は非商用目的に限られると、ElevenLabsの一般利用規約で案内されています。
Dubbing v2で作った動画をDubbing Studioで編集できますか？
執筆時点ではできません。Dubbing Studioが対応しているのは旧世代のv1で、v2で作った自動吹き替えを後からv1のStudio画面へ移して編集することはできないと案内されています。台詞や話者を細かく直したい場合は、最初からv1のDubbing Studioで制作するか、書き出した音声をほかの編集ソフトで修正するかを事前に決めておきます。
ElevenLabsで吹き替えた動画は商用利用できますか？
有料プランのユーザーは、利用規約と禁止用途の方針を守る範囲で商用利用できます。ただし、Dubbing v2の出力には別途の個別規約があり、映画、テレビ番組やシリーズ、脚本付きの配信作品、ストリーミング／VOD、劇場公開など商業配信を目的とする映像作品での利用にはEnterprise契約が必要です。YouTube、TikTok、Instagramなど利用者投稿型サービスへの公開はこの制限の対象外です。
アップロードできるファイルの上限や長さは？
自動吹き替えでは、1ファイルあたり最大2GB、長さは180分までとされています。話者数の上限は明記されていませんが、公式文書では1ファイルにつき9人までを推奨しています。長尺の素材はチャプター単位で分割してから処理すると、検品と差し戻しがしやすくなります。
ElevenLabs Dubbingを確認した公式情報
- ElevenLabs Documentation｜Dubbing — 対応言語、入力方法、上限、v2とStudioの違い
- ElevenLabs Documentation｜Dubbing Studio — 編集できる項目と書き出し形式
- ElevenLabs Documentation｜Dubbing overview — 対応入力形式と話者数の推奨
- ElevenLabs｜Terms of Service — 無料・有料ユーザーの商用利用条件と入力素材に必要な権利
- ElevenLabs｜Prohibited Use Policy — 出力の利用禁止用途と本人同意の要件
- ElevenLabs｜Dubbing v2 Model-Specific Terms — Dubbing v2の出力を利用できる映像作品と公開先の条件
- ElevenLabs｜Pricing — 無料・有料プランの機能差と透かしの扱い
- ElevenLabs公式YouTube｜How to Dub Videos into 29 Languages Automatically — 自動吹き替えの操作例
AIGC TIMESとは
AIGC TIMESは、AIクリエイティブ業界の専門メディアです。本メディア運営企業が10都市・20社以上のグローバルブランドへの実装を通じて蓄積したメソッド、独自調査に基づく業界動向、AIツールのアップデート情報を、公式noteと連動して継続的に発信しています。
無料メソッド
AIクリエイティブの社内導入、研修、パートナー選定、ブランドコミュニケーションに関するメソッドを公開しています。
お問い合わせ
AIクリエイティブ制作、PoC、社内導入、研修についてのご相談は、公式フォームからお問い合わせください。