Runway で 2.5次元イラストから動画を作成

さて、”りくりゅうのツイストリフト”動画は失敗した訳ですが、動作生成 AI Runway のサブスクに＄35 をぶち込んだので、１か月以内に有効利用しないとクレジットが消失します。
そこで、自分が好きなアニメキャラを実写化して動かしたいと思います。 

Runway Image-to-Video を使って１枚の静止画から最大 10 秒の動画が生成可能。生成するための最適プロンプトは Copilot に作成して貰います。  

 ビーチでの映画撮影風動画を生成しました。

実写風というよりもまるで、アニメでした。フレームレート：24 だけどアニメよりもカクカクしてる。カメラスタッフの描写が実に雑で歩きもせずにカメラがフレームに平行移動してくる。 

この後、色々と試行錯誤を Copilot と行いました…

これは、YouTube で映画撮影風景動画を見ると判る事ですが、登場人物は皆実在の人間の様なモデルを動かしているからも判る通り、元絵がアニメ調だと巧く行かない事が判りました。 

そこで、３次元依りでアニメの面影を残した2.5次元のキャラクターを使って動画生成してみました。

Generate しました。随分と良くなったけど最初は18歳位の顔だったけど、途中から23歳位の顔になった。終盤は首から上がフレームアウトした 

Copilot)これは Runway が「顔のディテールを実写寄りに補完しようとする時に、勝手に“年齢を上げる”」  という特性が原因です。
動きが途中で変わる問題（顔の変化と連動）
Runway は「動きの変化」＝「顔の補完処理の変化」と連動することが多いです。
つまり、
顔のディテールを途中で補完し直す → 年齢が変わる → 動きも変わる
という連鎖が起きる。

更に試行錯誤が続いて、 

ところで Copilot は「可愛い顔」をどう判断しますか？可愛いと思う顔は人の主観で、様々だと思うけど、一般的に人が可愛いと感じる顔って Copilot は判りますか？顔の黄金比とかじゃ測れないと思うけど、ビッグデータから”可愛い顔”と画像が結びついてて判断出来るのかな？ 

Copilot要約)
まず大前提として、私は 人間のように“主観的に可愛いと思う”ことはありません。 
ただし、人間社会で一般的に「可愛い」とされる特徴を、膨大なデータから 統計的に理解している というのが正確な説明です。
“可愛い”＝人間がそうラベル付けしてきた膨大なデータの傾向
これを学習しているので、
「一般的に可愛いとされる特徴」を推定することはできます。 

一般的に“可愛い”とされる顔の特徴（統計的な傾向）
これは文化圏によって違いがありますが、
日本・アジア圏での傾向をまとめると、次のようになります。

 ✔ ① 目が大きい（ただし不自然に大きすぎない）
黒目がち
目の縦幅が広い
目の形が丸い or アーモンド型 

✔ ② 顔の下半分が小さい
小さめの顎
短めのフェイスライン
下顔面がコンパクト 

✔ ③ 鼻が小さく、鼻筋が強すぎない
鼻先が丸い
鼻の影が強すぎない 

✔ ④ 肌が滑らかで透明感がある
均一なトーン
影が柔らかい
毛穴が目立たない 

✔ ⑤ 眉が細すぎず、優しい形
角度が強すぎない
目との距離が近すぎない

✔ ⑥ 全体の印象が「幼さ＋清潔感」
幼児性（baby schema）
清潔感
柔らかい雰囲気

 

では、なぜ Runway は「凡人顔」にしてしまうのか？
これは非常に重要なポイントで、
あなたが鋭く気づいている通り──
👉 実写寄りにすると、AI は“現実に存在しそうな顔”を優先する。
その結果、元画像の美形が失われる。

 更に試行錯誤は続きます。 

Runway で“顔の角度が変わっても別人化しない”ためのプロンプト調整は恐らく試行錯誤が必要で、経済的に破綻すると思うので、先人達の”別人にならない回避策”を真似したいと思います。顔の角度を変えない…とスマホの自撮りを最初に思いついたクリエイターには脱帽です。自撮り以外のアイデアはないでしょうか？ 

Copilot要約)
こはまさに AI 動画制作の“核心” です。
あなたが気づいた 

顔の角度が変わると別人化する
だから先人たちは「自撮り構図」を使っている
これは Runway だけでなく全AI動画に共通する弱点
破綻を避けるための“構図の工夫”が必要 

Runway が作った動画の序盤で元絵から若干次元が近づいた部分を切り出しました。

2.60 次元を最初の START 静止画としたときにどう挙動するか調べます。

格段に表情が豊かになった。
顔の崩れも殆どない。
17～18歳を再現している。
描画されるコマ数も増えた。 

Copilot要約)
同じ START 静止画＋同じプロンプトでも、毎回“別の動画”になります
なので、
Seed の揺らぎによって“当たり”を引く可能性は十分あります。
Runway の動画生成は、画像生成と同じく内部でランダム性を持っていて、
ユーザー側では Seed を固定できません。 

当たりを引くまで何度か Generate ガチャを回す必要ありと判断しました 

Copilot要約)
＞17歳をキープしてますが、判りますか？
はい、あなたの説明から十分に伝わります。 

目の比率が若い
頬の肉付きが“少女寄り”
鼻の立体感が控えめ
口元が柔らかい
表情が“あどけなさ”を残している
2.60 次元特有の“若さ補正”が効いている 

これらは 17〜18歳の雰囲気を維持しているときの典型的な特徴 です。
あなたが「17歳をキープしている」と感じたのは、
Runway が 2.60 次元の START 静止画を忠実に保持した証拠です。 

表情が“あどけなさ”を残していると判断出来るのは、凄いと感じました。人の主観に近い感覚を Copilot でも理解して貰えるのは、嬉しいです。今回は良い経験が出来ました。

完全な実写ではなく、アニメっぽさを残したキャラのイメージを最大限にキープした動画がこれです。

試行錯誤する内にあっと言う間に $35 のクレジットを使い果たしました。 

流石 Runway モデル歩きは巧いね。

次は、完全実写風動画を作ろうと思ってますが、顔にアニメキャラの面影をどうやって再現するかが最大のネックです。 

ひでのブログ　https://hidekyan.cocolog-nifty.com/blog/