リップシンクとは、音声に口の動きを合わせること

先に音声があり、それに合わせて口の動きを作ります。アニメの作画、吹き替え、AI 動画生成はすべてこちら。「音が正、映像を後から合わせる」のがリップシンクです。

ステージで流れている音源に合わせて歌っているふりをする、いわゆる「当て振り」がもとの意味です。声を出していない状態を指す言葉なので、制作工程を指すリップシンクとは立場が違います。

英語圏では歌手の当て振りも lip sync と呼ばれます。海外の解説記事を読むときは、制作技術の話なのかパフォーマンスの話なのかを文脈で判断してください。

音楽アプリやカラオケ機能で歌詞が音に合わせて動く表示も、同じ言葉で呼ばれることがあります。この記事で扱うのは映像制作側のリップシンクです。

日本のアニメは、先に声を録ってから口の動きを作る「アフレコ」ではなく、先に絵を描いて後から声を当てる方式が主流です。そのため口の形は「あ・い・う・え・お」の数パターンに単純化されるのが一般的で、海外作品の細かい口形とは見た目が変わります。

元の言語の口の動きと、吹き替えた言語の発音は当然ずれます。従来は翻訳の言い回しを口の動きに寄せて調整していましたが、AI で映像側の口を作り替える方法が実用段階に入っています。

マイクの音量や母音を解析して、アバターの口をリアルタイムで動かします。VRChat などで「口が動かない」場合は、多くがアバター側のシェイプキー設定が原因です。

人物が商品を説明する短尺動画は、ナレーション音声を先に用意して、映像の口をそれに合わせる作り方が増えています。同じ映像のまま台詞だけ差し替えられるのが利点です。

すでにある人物の動画と音声を渡し、口の部分だけを音声に合わせて描き直す方式です。元の映像・服装・背景がそのまま残るので、撮影済みの素材を多言語化したいときに向いています。専用のリップシンクモデルが担当する領域です。

音声ファイルと指示文を渡して、その音声にしゃべっている映像を丸ごと作る方式です。当サイトの シーダンス 2 は参照音声の入力に対応しているため、こちらの方式にあたります。素材の撮影が要らない代わりに、映像は毎回新しく生成されます。

「この人のこの映像を活かしたい」なら①、「音声はあるが映像がない」なら②です。②は表情・カメラワーク・背景まで含めて作れるので、ゼロから短尺動画を作る用途では手数が少なく済みます。

エアコンの音や環境音が入っていると、どこが発話なのかの判定が鈍ります。静かな場所で録るか、ノイズを落としてからアップロードしてください。

1 秒あたりの音数が多いほど口の動きは追いつきにくくなります。同じ台詞でも、少し間をとって話した音声のほうが自然に見えます。

引きの構図では口が数ピクセルしかなく、合っていても合って見えません。上半身から胸から上のクローズアップを指定してください。

長い原稿を一度に渡すより、文単位で分けて生成してつなぐほうが、破綻したときのやり直しが安く済みます。

他人の歌声や、権利者の許諾がない音源をアップロードしないでください。自分で録音した声、自分で用意した読み上げ音声を使うのが安全です。