音声ファイルと人物の写真を渡すだけで、シーダンス 2 がその音声に口の動きを合わせた動画を生成します。撮影も編集ソフトも要りません。
アプリのインストールは不要で、ブラウザだけで完結します。参照音声に対応しているモデルはシーダンス 2 のみで、有料プランまたはクレジット購入後にご利用いただけます。
シーダンス 2 Mini は登録時の無料クレジットの範囲でお試しいただけます。シーダンス 2.0 / Fast と MiniMax H3 はプレミアムプランでご利用いただけます。
開始フレームを追加し、必要なら終了フレームも指定できます。
最初のフレームをアップロードして、画像を動画に変換します。
クリックして選択
または画像をここにドラッグ&ドロップ
終了フレームをアップロードすると、開始画像から最終フレームへと補間した動画を生成できます。
クリックして選択
または画像をここにドラッグ&ドロップ
参照音声に合わせて口が動き、表情や体のわずかな動きも一緒に生成されます。うまくいく構図には共通点があります。
この構図がいちばん安定します。指示文に「上半身のクローズアップ」と入れてください。
口が数ピクセルしかないと、実際には合っていても合って見えません。まず寄ることを優先してください。
表情・照明・背景まで書いておくと、しゃべってはいるが構図が定まらない映像になりにくくなります。
用意するものは、音声ファイル 1 つと人物の写真 1 枚だけです。
設定を開いて「参照音声」に音声ファイルを追加します。自分で録音した声でも、読み上げソフトで作った音声でも構いません。まずは 5 秒前後の短いものから始めてください。
「参照画像」に、しゃべらせたい人物の写真を 1 枚入れます。顔が大きく、正面に近い角度で写っているものを選ぶと結果が安定します。
「正面を向いた人物が、落ち着いた表情でカメラに向かって話している。上半身のクローズアップ」のように、口以外の要素も指示します。480p・5 秒で出して確認してから画質を上げるのが効率的です。
口だけを差し替えるのではなく、音声から映像ごと作ります。表情・カメラワーク・背景まで一度に決まります。
専用アプリも編集ソフトも要りません。スマートフォンのブラウザからでも、録音した音声をそのままアップロードして生成できます。
日本語で録った音声をそのまま参照音声として使えます。母音がはっきりした、少しゆっくりめの話し方のほうが口の動きは合いやすくなります。
参照音声を受け付けるのはシーダンス 2 だけで、これは有料プランまたはクレジット購入後に選べるようになるモデルです。登録時の無料クレジットだけでは参照音声の項目が表示されません。料金プランをご確認ください。
設定ごとの消費クレジットは生成ボタンの上に出るので、想定外の消費にはなりません。まず 480p・5 秒で口の合い方を確かめてから、画質を上げてください。
音声に合わせて口を動かすだけでなく、うなずきや目線、わずかな体の揺れまで含めて生成されます。静止画に口だけが動く不自然さが出にくい方式です。
同じ写真と同じ指示文のまま、音声だけを差し替えて生成し直せます。文単位で分けて作り、あとでつなぐ運用がしやすい構成です。
生成した動画は動画の高画質化にかけて仕上げられます。まず短く安く作り、採用したものだけ画質を上げる流れが無駄になりません。
撮影の手間が要らないので、「人が話している短い映像」が必要な場面全般で使えます。
ナレーション音声を用意して、話している人物の映像を生成します。台詞を変えたいときは音声だけ差し替えれば済みます。
5 秒から 10 秒の「一言しゃべる」動画は、SNS で最も回りやすい長さです。撮影せずに量産できます。
AIイラストで作ったキャラクターを参照画像に入れれば、そのキャラクターが話す映像になります。実写の人物写真を使う必要はありません。
原稿を読み上げた音声さえあれば、話者の映像を用意できます。顔出しをせずに人が説明している形式の動画を作れます。
口が合わないと感じるとき、原因はほとんど入力側にあります。上から順に確認してください。
環境音が乗っていると、どこが発話なのかの判定が鈍ります。静かな場所で録り直すだけで結果が変わります。
1 秒あたりの音数が多いほど口は追いつきにくくなります。少し間をとって話した音声のほうが自然に見えます。
引きの構図では口が数ピクセルしかありません。指示文に「上半身のクローズアップ」と入れてください。
長い原稿を一度に渡すより、文単位で分けたほうが、やり直しのコストが小さく済みます。
このページの用途では参照動画は使いません。参照音声と参照画像だけにすると、指示が競合しません。
選んでいるモデルがシーダンス 2 以外になっている可能性があります。シーダンス 2 Mini や Fast は参照音声に対応していないため、設定を開いても項目自体が出ません。モデルをシーダンス 2 に切り替えてください(有料プランまたはクレジット購入後に選択できます)。
自分で録音した音声、または読み上げソフトで作った音声を用意してください。長さは 5 秒前後から始めるのが確実です。雑音の少ない音声ほど結果が安定します。
いいえ。このページの方式は、音声と画像から動画を新しく生成するものです。元の映像をそのまま残して口だけを描き直す機能ではありません。仕組みの違いはリップシンクとはで説明しています。
使えます。ただし発音がはっきりしている音声のほうが口の動きは合いやすくなります。言語を問わず、早口や語尾を飲み込む話し方はずれやすい傾向があります。
避けてください。自分の声・自分の写真、または権利のある素材を使ってください。他人の声や肖像を無断で使った生成物は、権利上の問題が生じる可能性があります。
480p・5 秒であれば数十秒から数分程度です。画質と長さを上げるほど時間もクレジットも増えます。まず短く作って確認する流れをおすすめします。
5 秒の音声と写真 1 枚から。モデルはシーダンス 2 を選んでください。