AIの絵1枚が3Dの世界に!? しとちゃが歩けるまでの裏側、全部見せます【Claude Code】
AIで描いた背景の絵や、旅行で撮った写真1枚に、3Dのしとちゃが入って歩けるようになるまでの裏側を紹介します。 絵から奥行きを推定して立体の舞台にするしくみ、3回作り直した歩き方、写真といっしょに撮れるライブフォトでの「がくがく」の直し方、全部のコマで確かめていること、そしてこのしくみで作った3本の短い動画まで。 オープニング・あいさつ 1枚の絵を、舞台にする 歩き方 旅行の写真と、ライブフォト 確かめていること こういう使い方も エンディング ■ この動画について ・背景の絵は Codex の画像生成で描きました。奥行きの推定は Depth Anything V2、裏側の描き足しは LaMa、描画は three.js です。しくみと編集は Claude Code(Claude Opus 5.5)で作りました。 ・歩き方は 100STYLE(1人の人が100種類の歩き方を演じたモーションキャプチャのデータ)の「Elated」を、しとちゃの体に移しています。 ・「直す前」の映像(最初の歩き方、テーブルを通り抜ける道すじ、がくがくのライブフォト)は、当時と同じ設定でもう一度描いたものです。 ・旅行の写真とライブフォトは、しとちゃ本人が撮ったものです。 ・表情は、しとちゃ本人が録音と一緒に記録した iPhone の表情データです。 ■ 動画の中で紹介した3本 しとちゃのおでかけアルバム/しとちゃの一日/1まいの絵が3Dの世界に #しとちゃ #VTuber #3D #ClaudeCode #DepthAnything 。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。*゚。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。 ↓ましゅまろで、オンラインゲームであったとんでもエピソードを募集してます。 https://marshmallow-qa.com/zavl6wygbp09wnk?t=5BOCBL&utm_medium=url_text&utm_source=promotion 使用素材:「アメリア」様 オリジナル「ねむむシト」モデル 「100STYLE」 歩きのモーションキャプチャ(Ian Mason, Sebastian Starke, Taku Komura/CC BY 4.0) https://zenodo.org/records/8127870 「Codex」 背景の絵(画像生成) 「Depth Anything V2」 奥行きの推定 「LaMa」 描き足し 「Real-ESRGAN」 拡大 「MusMus」様 音楽複数 https://musmus.main.jp/ 「07にくまるフォント」「Noto Sans JP」 フォント 改変 :しとちゃ 使用機材 :Remotion・three.js・Claude Code 撮影環境 :ifacialmocap・iphonexs(表情)、iPhone(旅行の写真・ライブフォト) なまえ:しとちゃ ねんれい:7さい せいべつ:生産物につき不明 しゅぞく:きつねぷりん ぱそこんすぺっく ↓ CPU:Ryzen 9 7950X3D GPU:RTX4060TI 16GB RAM:64GB twitter:https://twitter.com/nemumusito 。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。*゚。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。゚+。。.。・.。