AI開発 / 自作アプリ / 制作記録
Astraでゼロから約1日。写真が話す動画アプリ「H3 Scene Studio」を作りました
写真の中の人物が動いて、用意したセリフを話す。思い描いたシーンを、自分のPCで作れるようにしたくて。Astraを中心に、動画制作アプリをゼロから作りました。
この白衣の女の子も、H3で作っています
説明より先に、実際に作った動画を見てください。参照画像の人物に白衣を着てもらい、カメラに向かってアプリを紹介する場面です。映像だけでなく、話している声もH3で生成しています。
まだ少し粗さはあります。それでも、写真の人物が表情を変え、身振りを交えて話し始めると、「この人で、次は何を作ろう」と考えたくなります。今回は、この動画を作るためのアプリで何ができるのかを、実際の画面と一緒に紹介します。
「こういうアプリが欲しい」を、Astraと形にした
作りたい構成は、あらかじめ頭の中にありました。人物の見た目を保ちたい。日本語で演出を伝えたい。短い動画をつないで、続きのある場面も作りたい。その構想からアプリをゼロから作る開発は、私の体感では約1日でした。
開発の中心はAstraです。その後、別のAIでもチェックし、実機で動かしながら修正・仕上げを重ねて、公開しました。「約1日」は開発を進めたときの私の感覚で、公開前の検証・調整まで含めた厳密な所要時間ではありません。
土台には、既存の動画生成モデルMiniMax H3と、それをPCで動かすComfyUIを使っています。私が作ったのは、それらを組み合わせ、人物の登録から演出、生成、保存までを扱いやすくするアプリです。
用意したのは、単発生成、ストーリーモード、AI Director、音声テストなどの入口。フォルダや設定も同じ画面から扱えるようにしました。コードが動くだけで終わらず、自分が触って「ここが分かりにくい」と感じた部分も直しています。
写真を置く。演出を決める。声のあるシーンにする
最初に人物の写真を追加し、作りたい場面とセリフを用意します。演出を自分で考えて入力することも、AI Directorにアイデアを渡して監督案を作ってもらうこともできます。
案を整えて生成を始めると、参照画像の解析、人物プロフィールの作成、生成用の指示への変換、動画と音声の生成、保存まで進みます。生成用の複雑な英語プロンプトを、毎回一から組み立てる手間を減らすのが狙いです。
完成した動画はPCに保存します。短い一本として使うほか、ストーリーにしたり、後から高画質化したりする機能も用意しました。
一枚で終わらない。人物の写真を組み合わせて残す
気に入っているのが、同じ人物の写真を複数枚使えるところです。顔が分かる写真だけでなく、体の形や服装、別の角度の情報も渡して、人物の特徴を保ちやすくしています。
参照画像は最大4枚。画面の例では3枚を登録しています。顔の分かる画像を中心に、補足したい特徴が分かる写真を組み合わせる使い方です。
人物ごとにキャラクターとして個別保存し、次の動画で呼び出せます。同じ人物を使うたびに、写真を最初から選び直す必要がありません。短い紹介動画を何本か作るときや、同じ登場人物で別の場面を試すときに使えます。
写真を増やせば必ず同じ顔になる、という保証はありません。生成ごとのばらつきは残りますが、人物の手がかりを揃えておけることを重視しました。
気に入ったところは残す。変えたいところだけ、何度でも
AIに演出を任せたあと、「場所は好きだけど、動きだけ違う」と感じることがあります。そこで全部を作り直すと、今度は気に入っていた場所まで変わってしまう。これを避けたくて、監督案を項目ごとに扱えるようにしました。
アイデアは、たとえば「白衣を着た女の子が、研究室でカメラに話しかける」。AI Directorが、場所、背景、人物、服装、演技・動作、カメラの構図や動きなどに分けて案を作ります。
気に入った項目はロックし、変えたい項目だけ変更をAIに依頼できます。「白衣と研究室はそのままで、手を振る動きにして」といった相談を重ねながら、納得できる案に近づけていく機能です。
私が気に入っているのは、一回で正解を出してもらう使い方に縛られないことです。良かった部分を残し、少しずつ自分の好みに寄せられます。
ロックするのは監督案の項目です。生成映像のすべてを固定する機能ではありません。案の再作成には時間がかかり、外部APIを使う場合は、そのサービスの利用枠・料金も適用されます。
短い一本から、続きのある動画へ
ストーリーのつなぎ目を整える
複数のクリップを作って結合するストーリーモードでは、前の映像の末尾を引き継ぎ、人物や場所が続くようにします。結合方法は「自然につなぐ」「カット」「フェード」から選べます。
実際に試して気になったのは、つなぎ目で少し止まったように見えることと、明るさの段差でした。「自然につなぐ」では接続位置や冒頭の停止感を調整し、明るさの変化をなだらかにしています。ただし、生成時点で背景や構図が変わりすぎた場合は、クリップの作り直しが必要です。
まず生成して、気に入った動画を後から高画質化
速さを優先するモードで試してから、採用した動画だけを拡大・高画質化する使い方もできます。すべてを最初から重い設定で仕上げる必要はありません。
| 方法 | 使いどころ | 確認したいこと |
|---|---|---|
| 標準拡大 （Lanczos） | 追加モデルを入れず、出力サイズを大きくする | 細部をAIで描き直す処理とは異なる |
| AI高画質化 （RealESRGAN / SeedVR2） | 細部の見え方も含めて仕上げを試す | 追加モデルと処理時間が必要。顔や質感の変化も見比べる |
高画質化の速さは方式と環境で大きく変わります。先に短い動画で、待ち時間と仕上がりが自分の用途に合うかを確かめるのが現実的です。
今回の生成は6分26秒。日本語の抑揚には、まだ課題も
冒頭の動画の生成完了画面では、経過時間は386秒、約6分26秒でした。添付した完成ファイルは約10.1秒、1024×576、24fpsです。この一本の記録として掲載します。
私の検証環境は、Windows 11、RTX 4070 Ti 12GBとRTX 3060 12GBの2枚構成です。モデルの読み込み状態、設定、同時に動かしているソフトによっても待ち時間は変わるので、誰のPCでも6分26秒で作れる、という意味ではありません。
短い「見て見て！」の抑揚が、意外と難しい
使っていて、まだ気になるのは日本語音声です。長めのセリフでは違和感が紛れることもありますが、短い呼びかけだと分かりやすくなります。たとえば「見て見て！」と言ってほしいのに、「ミテ ミテ」と平坦に聞こえるような場面です。
指定した言葉を読めていることと、自然なイントネーションで話せることは別でした。演技やカメラの指示を読み上げてしまう問題などは調整を重ねましたが、日本語の抑揚まで完成したとは考えていません。
現在、生成動画の音声を別の音声エンジンへ切り替える機能はありません。音声テスト画面で別エンジンの読みを確認しても、その発音がH3の生成音声に反映されるわけではありません。
だからこの記事でも、完成動画を音声付きで載せています。文字だけの説明では分からない部分も含めて、実際の仕上がりを見て判断してもらえたらと思います。
無料公開。ただし、ダウンロードだけで動くアプリではありません
H3 Scene StudioのコードはGitHubで無料公開しています。一方、動かすにはComfyUI、動画生成モデル、FFmpegなどを別途用意し、接続先を設定する必要があります。モデルやComfyUIはアプリに同梱していません。
- GPU：設定画面で自動・シングル・デュアルを選べます。実機検証の中心は12GB GPUを2枚使う開発機で、1枚構成の確認は限定的です。2枚のVRAMを単純に足して「24GBのGPU」と扱う仕組みではありません。
- LLM：演出案や指示を考えるAIの接続先を選びます。LM Studioだけに固定しておらず、ほかのローカルサーバーや外部APIの選択肢もあります。接続先ごとの実確認範囲はREADMEを確認してください。
- データと費用：動画生成はローカルのComfyUIで行いますが、外部APIを選ぶと、解析・演出用の入力がそのサービスへ送られる場合があります。サービス利用料やPCの電力などは、アプリの無料公開とは別です。
- 起動と終了：導入後は
RUN_H3.batで起動し、画面の終了ボタンかSTOP_H3.batで終了します。管理対象のモデル解放とComfyUI終了、設定に応じたLM Studio終了を行います。
こんな人には試してほしい
手元のPCで人物動画を作りたい。同じキャラクターで場面を変えてみたい。演出を何度か練り直す過程も楽しめる。そうした使い方を考えている人に向けて作りました。
今は見送ってもよい条件
環境設定に時間をかけたくない。日本語の抑揚や人物・背景の連続性を、一度で確実に揃えたい。そうした用途では、現状の制約が負担になると思います。
分離した新規環境で確認できているのは、依存関係の導入や自己診断までです。クリーンな環境での実動画生成、あらゆるGPUやLLM接続先での動作を確認したわけではありません。導入前には最新の手順と「既知の制約」を読んでください。
次は、この人物でどんなシーンを作ろう
Astraで形にできたこと自体も大きな体験でしたが、作ったアプリで動画が完成すると、今度は作品のほうを触りたくなります。人物を選び、セリフを考え、好きな演出を残してもう一度試す。その作業ができるところまで持ってこられました。
日本語音声も、ストーリーのつながりも、まだ改善したいところがあります。それを隠さず見せたうえで、「このくらいなら自分でも試してみたい」と思ってもらえたらうれしいです。
H3 SCENE STUDIO
ソースコードと導入手順を無料公開中
まずはREADMEで必要な環境と制約を確認してください。
アプリ自身のコード・文書はMITライセンス。使用する外部ソフトウェアとモデルには、それぞれの利用条件が適用されます。
出典と、あわせて読みたい記事
開発・利用の体験、実際のスクリーンショットと完成動画、およびH3 Scene Studioの公開資料に基づいています。動画の長さ・解像度は掲載ファイル、生成時間は完了画面の表示から確認しました。見出しの挿絵と本文の図解は、この記事のために制作した説明用の画像です。
- ChatGPT Astraを使う・選ぶ
モデル、プラン、Work・Codexの違いから整理したい方へ。
- BRAINで、AI開発の作業記録を引き継ぐ
続きのある開発で、前回の背景を残すための自作ツールです。
- GPU・VRAMを選ぶ前に
容量の数字だけで決めず、用途と環境から考えるガイドです。