MagnificがVEED「Lip Sync 2.0」を導入｜最大10分・4K動画の音声差し替えに対応｜速報記事

動画と音声を別々に入力して口元を合わせる

利用時は、人物が話している動画と、差し替えたい音声を別々に入力します。Lip Sync 2.0が動画内の顔を検出し、新しい音声に合わせて口元と顔の下半分を描き直します。

台詞の一部を修正する、冒頭の言葉を変える、別言語の音声へ差し替えるといった用途が案内されています。人物ごとの事前学習は不要ですが、素材によって仕上がりは変わります。

公式発表では、最大10分、4K解像度、ファイルサイズ5GBまでの動画に対応するとしています。正面を向いた人物から、横向きのミディアムクローズアップまでを想定しています。

一つの場面で処理できるのは、実際に話している人物1人です。複数人が同時に話す映像や、人間以外の被写体には対応していません。p、b、mのように唇を閉じて発音する音は、執筆時点で改善中と案内されています。

Magnificは、入力した音声の感情や話し方を保ちながら口元を合わせられると説明しています。実際の仕上がりは、映像や言語ごとに確認する必要があります。

照明が暗い映像、顔に手や物が重なる場面、速いカメラ移動、極端な角度にも対応するとしています。業務で使う場合は、口元だけでなく、顔の輪郭、歯、顎、表情、音声と映像の時間差を場面ごとに確認してください。

Lip Sync 2.0はMagnificのVideo GeneratorとSpeakから利用できます。利用できるプラン、処理回数、クレジット消費、APIを直接契約する場合の料金は、執筆時点の各サービス画面で確認が必要です。

別言語の音声へ差し替える場合は、翻訳内容、本人の同意、声の権利、映像の利用許諾も確認してください。口元を自然に見せる機能と、音声・映像を使う権利は別の問題です。

利用前には、最大10分や4Kという上限だけで判断せず、話者数、被写体、顔の角度、音声の権利を素材ごとに確認してください。