入力するのは動画と新しい音声
操作の流れはシンプルです。元動画と別の音声ファイルを入力すると、Lip Sync 2.0が顔を検出し、口と顔の下側を新しい音声へ合わせます。VEEDは、音声に含まれる感情、話し方、タイミングも結果へ反映すると説明しています。話者ごとの追加学習や微調整は不要です。
MagnificではVideo GeneratorとSpeakから使えます。APIによる自動処理にも対応しているため、同じ広告から複数の冒頭、修正版、多言語版をまとめて作る工程にも接続できます。
最大4K・最長10分、ただし1シーン1人
公式仕様では、最大4K、最長10分、ファイルサイズ5GBまで対応します。入力した動画と同じ解像度で返す仕様です。
現在は1シーンにつき1人の発話者に対応し、人間以外の被写体は対象外です。正面から中程度の寄りが最も安定し、横向きにも対応すると説明されています。極端な角度、口元の大きな遮蔽、p・b・mなど唇を閉じる音は、公開前に実素材で確認する必要があります。
VEEDのAPI料金は1秒0.07ドルで、解像度による価格差はありません。1分では4.20ドルです。ただし、Magnificの画面から使う場合のクレジット消費が同額とは限りません。Magnificの契約画面を別に確認してください。
Magnific × VEED Lip Sync 2.0の公式情報、ここにまとめました
- Magnific公式発表 — 提供開始日、Magnific内の提供場所、入力・出力、対応条件、制限。
- VEED Lip Sync 2.0 API — 公式デモ、4K・10分・5GB、料金、1シーン1人、非人間未対応。
AIGC TIMESとは
AIGC TIMESは、AIクリエイティブ業界の専門メディアです。本メディア運営企業が10都市・20社以上のグローバルブランドへの実装を通じて蓄積したメソッド、独自調査に基づく業界動向、AIツールのアップデート情報を、公式noteと連動して継続的に発信しています。
無料メソッド
AIクリエイティブの社内導入、研修、パートナー選定、ブランドコミュニケーションに関するメソッドを公開しています。
お問い合わせ
AIクリエイティブ制作、PoC、社内導入、研修についてのご相談は、公式フォームからお問い合わせください。