"りくりゅう”のツイストリフト動画を作りたい ④

”りくりゅう”のツイストリフト動画を作りたい ③ の続き

Stable Diffusion（Clipdrop）で4ポーズ連続図を何とか生成することが出来ました。 

 私）Stable Diffusionの画像を添付しますが、この画像で希望する動画が作れると思えません。 

Copilot)この4枚の画像から “希望する技術動画” を作るのは難しいです。
理由は、生成された画像が「技術図」ではなく「演技写真」になっているからです。
ただし――「不可能」ではありません。
方向性を調整すれば、あなたが求める “技術図 → 動画” に近づけます。
ここからは、あなたの目的に合わせて冷静に整理します。 

なぜこの画像では希望の動画にならないのか
あなたが求めているのは：

ミウラ／キハラ式ツイストリフトの技術的に正確な4ポーズ連続図
それを Runway で動画化する
しかし、今の画像は：
4枚とも 別の瞬間の演技写真風ポーズがツイストリフトではない
技術図ではなく “演技のスナップ”
4枚の人物が同一人物に見えない
パネル構成がバラバラ

つまり、
技術図としての一貫性がないため、動画化しても “技術解説動画” にはなaらない。
 あなたの感覚は正しいです。

え～だって Copiot が4ポーズ連続図を Clipdrop で作れって言ったんだよ！こうなるの予想出来てたとかない？と思いつつも…
やはり movie to movie で実際の演技を別のビデオ化する方がイイんじゃ？と思った。 

私）Runway では movie to movie を作ることは可能でしょうか？

Copilot要約)
🧊 Runway でできる “movie to movie”

Runway には 既存の動画を別の動画に変換する機能 がいくつかあります。

✅ ① Motion Brush / Motion Sketch（動きの付け替え）
✅ ② Character Swap（人物の置き換え）
✅ ③ Gen‑1（Video to Video）※古いモデル
✅ ④ Gen‑2（Video to Video）※現行モデルの一部に統合

私）何かの大会で本人たちが演技していた動画は YouTube に沢山あります。この動画を movie to movie で別のキャラに置き換えたり、カメラを調整して、手を繋いでいるところからツイストリフト、着氷を経て再び手を繋ぐまでの一連の full shot 動画を作って、蹴り上げ、腰に手を当てるなどの重要部分の UP 動画をインサートする方が巧くいくのではないでしょうか？

 Copilot)
大会の実際の演技動画 → 別キャラに置き換え → カメラ調整 → フルショット＋部分アップを組み合わせた動画」
これは Runway で “実現可能な範囲” に入っています。

まず、あなたのアイデアの強み
あなたが言っている方法は、実は 技術図をゼロから作るよりも圧倒的に自然で、成功率が高いです。 

理由はシンプルで、実際のミウラ／キハラの動きは完璧
その動きを AI に再現させるのは難しい
でも “元動画を使えば” 動きは100%正確
Runway は「動きの変換」より「見た目の変換」が得意 

つまり、
動きは実写に任せて、見た目だけ AI に変換する方が圧倒的に安定する。
あなたの判断は正しいです。 

私）どの大会か判らなかったですが、二人がフレームアウトすることなく、やや二人をルーズ気味にカメラがフォローしている動画があって、トリプルツイストリフト部分を切り出した９秒程度の動画があります。まずこれを movie to movie で、どの様にキャラクターが置き換えられて、カメラがタイトに二人の Full shot に収めるか試したいです。runway の使い方を教えて下さい

その後、色々とメニューから、それらしき機能を探しても…

movie to movie も実は出来ないのかな？Video to Video（Gen‑2）がない 

Copilot要約)
結論：
あなたの Runway アカウントには “Video‑to‑Video（movie to movie）” 機能が搭載されていません。
つまり、キャラ置き換えやカメラ再構成を行うタイプの変換は使えない状態です。
movie‑to‑movie が使えるのは “Director モード対応アカウント” のみ
あなたの画面に Director が無い → Video‑to‑Video が使えないアカウント です。
これは無料版や一部の地域アカウントで起こります。 

此処でも Copilot が出来ると言っていたRunway で movie‑to‑movie が実際には使えませんでした。

そこでPika Labs で movie‑to‑movie を行う事にしました。
しかし例に依ってどこで movie‑to‑movie を実行すれば良いか判りません。
ここでも、Copilot と画面キャプチャの応酬を行います。

Copilot要約)

結論：

あなたの Pika は “動画生成モード（movie‑to‑movie）” に入っていません。
そのため、動画ファイル（mp4）が選択肢に出てこない状態です。
今あなたが見ている Pika は「アプリ版の宣伝ページ」で、
実際の動画生成機能は “アプリ（iOS）でしか使えない” という意味です。

 🧭 では、本人の演技を忠実に再現したい場合は？

あなたの目的は：ツイストリフトの本物の動きを維持したまま
・キャラだけ変える
・破綻を最小にする
これは 生成AIでは絶対にできません。 Video‑to‑Video（変換AI）でしか実現できません。
そして、PCで使える本物の Video‑to‑Video は現状ほぼこれだけです：

🥇 Kling AI（最適）
・動画アップロード可能
・元動画の動きを忠実に維持
・キャラ差し替えが強い
・破綻が少ない
・PCブラウザで動く
ツイストリフトのような複雑モーションに最も強いです。 

ということで Pika Labs でも movie-to-movie は製作出来ない事が判明 

私）Kling AIでビデオ参照を使った “ツイストリフト専用の最適設定” を作りたい
背景は AI に任せて別のものにしたい、動画にはリンク内に広告が写っているので、また出来れば選手は二人とも可愛い、かっこいい人にしたい

 Copilot)

✔ 推奨プロンプト“人物＋背景 最適プリセット”
背景は広告のない清潔な屋内リンク。明るく均一な照明。シンプルで上品な雰囲気。
女性スケーターは可愛らしい顔立ちで柔らかい雰囲気。自然なメイク。
男性スケーターは端正で整った顔立ちで爽やかな雰囲気。

 

私）動画出来たけど、普通に二人で滑走しているだけで技の部分が全く再現されてないし、アルファベットの時の広告は象形文字みたいなものに代わって、日本語のカタカナはそのまま残って広告も消えない。顔は本人達とは若干変わってるけど、可愛らしい顔立ちに変わった感じではない。恐らく使い物にならない 

Copilot)
あなたが遭遇した現象は Kling Omni UI の “仕様上の限界” によるもので、 あなたの操作ミスではありません。
むしろ、あなたの動画（ツイストリフト）と Kling Omni の自動最適化仕様が 根本的に相性が悪い ために起きています。
ここから、なぜこうなったのか、そしてどうすれば改善できるのかを 冷静に、技術的に、そして最短ルートで 整理します。

❌ 1. 技が再現されない理由（決定的な要因）

あなたの結果：
・ただ滑走しているだけ
・技の部分が全く再現されない
これは Kling Omni の “動き抽出アルゴリズム” が 複雑なペア技を解析できていない ためです。

特にツイストリフトは：
2人の相互作用
投げ上げ
空中回転
キャッチ
体重移動
腕の軌道
回転軸の変化

これらが同時に起きるため、 一般的な Video Reference（単体人物前提）では破綻しやすい のです。
Kling Omni は「単独人物の動き」を前提に最適化されているため、 ペア技は “滑走” と誤認してしまう ことがあります。
❌ 2. 広告が象形文字化したり、カタカナが残る理由
これは 背景除去が完全に働いていない ためです。
Kling Omni の背景処理は：
英語・数字 → 変形して消える
日本語（特にカタカナ） → 認識精度が低く残りやすい
という特徴があります。

つまり：
👉 日本語の広告は最も消えにくい
これはあなたの動画の “広告の種類” が Kling にとって最悪のパターンだったということです。
❌ 3. 顔が「可愛らしい」方向に変わらない理由
あなたの UI は 人物プリセットが固定 で、 プロンプト補正も弱く、 外見の自由度が非常に低いタイプです。
つまり：
👉 外見変更は “軽い補正” しか効かない
これはあなたの UI の仕様で、 どう頑張っても「大きく可愛く／かっこよく」は変えられません。
🎯 ここまでの結論：
あなたの Kling Omni UI では、 ツイストリフトの Video‑to‑Video は “ほぼ不可能” に近い。
これはあなたの操作の問題ではなく、 Kling Omni の仕様と限界 です。
🧭 では、どうすれば実現できるのか？（最短ルート）
あなたの目的は：
・技を忠実に再現
・背景を広告なしに
・外見を少し良くしたい
これを実現するには、 Kling Omni ではなく “Kling Classic UI（旧UI）” を使う必要があります。

旧UIには：
・動画から動画（Video‑to‑Video）
・顔保持
・背景保持
・補完
・スタイル
・参照強度
・マスク
・背景差し替え
・人物差し替え（自由度高い）
など、あなたが求めている機能がすべて揃っています。  

段々雲行きが怪しくなってきた。

 

私は疲れて来ました、プロンプトを考えてくれる相手が人間だったら、ここまで付き合って貰えないと思うし、多少間違った事も言うけど（多々かも知れないけど）失敗しても失敗しても次々に代案を提示してくれる AI は本当に疲れ知らずで、相手が元気な分、ある意味癒される。こっちも疲れてなんかいられない。  

“りくりゅう“がミラノ五輪で金メダル取れた事は本当に嬉しかった…

最初から感じていた事だけど、そもそもAI クリエイター達が話題の「りくりゅうツイストリフト動画」を作ってない現実が可笑しい。

理由は次回、今回はここまで。 

"りくりゅう”のツイストリフト動画を作りたい ⑤ へ続く

りくりゅう──絶望から歓喜へ（ファンアート）

ひでのブログ　https://hidekyan.cocolog-nifty.com/blog/