Remotion と MCP で Reel 生成ツールを自作している話
GUI と MCP を同一サービス層に。Voice Timing、品質ゲート、人間承認の publish。
Reel / Shorts 用の縦動画を作るため、GUI と MCP の両方から操作できる Reel Studio を作っています。公開 SaaS ではなく、いまはローカルで使う制作ツールです。Angla Admin の日次スコア動画とは役割が違い、こちらは台本を考え、シーンを直し、プレビューを確認してから作品を仕上げるための制作机です。
目指したのは、エージェントに動画制作を丸ごと任せることではありません。人とエージェントが同じアプリケーションの機能を共有し、下準備や反復を手伝わせながら、公開の判断は人に残すことです。
GUI と MCP が共通のサービス層を呼び、公開だけ明示的な承認を必要とする。

制作中の縦動画から切り出したフックフレーム。
GUI と MCP を別々に実装しない
GUI と MCP を別の経路で作ると、同じ「動画を作る」操作でも片方にしか修正が入らず、振る舞いがずれていきます。Reel Studio では、両方から同じ ReelAppService を呼びます。シーンや素材、音声、プレビューといったアプリの操作はこのサービスに集め、MCP から Remotion や DB を直接触らせません。
この境界は、あとから GUI とエージェントのどちらを使っても同じデータとルールで作業できるようにするためです。GUI は人が見ながら操作し、MCP はエージェントがツールとして呼びますが、素材の割り当てやレンダーが別実装にならないようにしています。
エージェントに返す情報量も考慮が必要です。毎回、長い動画データや詳細な診断をすべて返すと、必要な情報を探しにくくなり、トークンも消費します。標準の応答は要約を中心にし、細部が必要な場合だけ詳細を求める summary-first の設計にしました。
音声のタイミングを全体の基準にする
縦動画では、字幕、シーンの切り替え、BGM が音声と合っている必要があります。Reel Studio では Voice Timing を基準にし、音声に合わせてシーンや字幕、BGM の配置を扱います。映像の長さを先に固定して無理に音声を詰め込むと、読み上げが途中で切れたり、画面だけが先に変わったりします。
一方で、TTS に失敗したために動画全体をプレビューできなくなるのも避けたい問題です。音声が用意できなくても字幕と任意の BGM でプレビューできるようにしています。音声を加えるときも、失敗が動画制作全体を止めない構造にすることが、繰り返し使うツールには必要でした。
品質チェックと自動修正
動画を作った後には、シーンの尺や内容、素材との関連性などを確認します。Reel Studio ではルールによる評価や、必要に応じた Vision を使った確認、改善ループを MCP からも実行できます。エージェントが問題を見つけ、許可された範囲の修正を提案・適用し、人がレビュー画面で結果を確認する流れです。
ここで重要なのは、品質チェックが人間の目を不要にするものではないことです。自動評価は決めたルールに沿って不整合を見つけられますが、動画が伝えたいことや、公開してよい内容かをすべて判断できるわけではありません。安全な範囲の自動修正と、公開前のレビューを分けています。
publish だけは人の承認を必須にする
素材検索、シーンの差し替え、プレビュー、品質チェックは、制作を進めるための操作です。ところが SNS への投稿は、外部へ公開する操作で、間違えたときの影響も異なります。そこで publish_reel は明示的な人間の確認なしには進めない境界にしています。
エージェントは投稿準備や接続診断を支援できますが、内容を確認して公開を承認するのは人です。公開の手前で止める設計なら、台本やシーンの作成は便利に自動化しながら、誤った素材や未確認の表現を無断で投稿することを避けられます。
この考え方は、日次スコアの投稿準備を半自動化する Angla Admin とも共通しています。ただし Angla Admin は毎日の定型運用、Reel Studio は一本ずつ企画して作る制作フローです。用途を分けることで、毎日必要な効率と、作品ごとに必要な編集の自由度を両立させています。
素材の出所とライセンス
動画には B-roll や静止画、BGM など外部素材が入ることがあります。素材を使う場合は、ファイルを置くだけで終わりにせず、ライセンスや帰属表示、ファイルのハッシュなどの情報を素材管理に残します。後でその素材をどこから取得し、どの条件で使ったかを追えるようにするためです。
編集ソフト一式をそのまま組み込むのではなく、必要な生成・レビューの層を自分でつなぐ設計にしています。依存するソフトウェアのライセンス条件も確認し、プロダクト全体の配布条件に影響しない選択をします。詳しい依存判断は Reel Studio の設計メモ側で管理し、この記事では実装方針の概要に留めます。
現在の到達点と限界
現在はローカル GUI と MCP の両方から動画制作を進められます。Instagram 連携については接続の診断や投稿準備を行えますが、誰でも使える公開サービスとして提供しているわけではありません。ファイル、レンダー環境、データベースを含めて自分の制作環境で運用するツールです。
また、Remotion や DB を GUI と MCP から直接操作しないという境界があるため、操作を増やすときはサービス層とツールの役割も設計する必要があります。手軽に機能を足すより、両方の入口で同じ振る舞いになることを優先しています。
まとめると、GUI と MCP を一つのサービス層へ集め、音声失敗時はプレビュー可能にし、品質チェックを支援に使い、公開の最終承認を人に残しています。毎日の定型投稿を半自動化する方法はAngla Admin の運用、個人 VPS 上の Remotion レンダーは縦動画を VPS で作る構成を参照してください。
一本の制作フローで考える
実際の流れは、エージェントが台本を用意し、同じサービス層を通じてシーンや素材、音声の計画を作り、Remotion でプレビューを生成するところから始まります。その後、ルール評価や必要なレビューを実行し、指摘に応じて内容を直します。人がレビュー画面で完成形を確認し、公開を承認してから最終的な投稿処理へ進みます。
途中で音声の生成に失敗しても、字幕などを使ってプレビューできるため、台本やシーンの確認自体は続けられます。素材が合わなければ差し替え、投稿先向けのキャプションも取得して見直せます。MCP の応答が要約中心なのは、この一連の工程の中で必要な結果を早く受け取り、必要なときだけ診断の詳細へ進むためです。
このフローでは、どの段階で問題が起きたかが分かることも重視します。台本の不足、素材の不一致、音声生成、Remotion のレンダー、公開承認を一つの「動画生成に失敗した」状態にまとめると、復旧すべき場所を判別できません。共通サービス層に処理を集めることで、GUI と MCP のどちらから開始しても同じ状態遷移を追えます。
エージェントに渡す仕事を限定する
MCP を使うと、エージェントは画面操作の代わりに明示的なツールを呼び出せます。ただし、ツールが多ければ使いやすいとは限りません。何を作るのかを台本やシーンとして渡し、素材の検索、評価、プレビューなど目的の分かる操作を用意する方が、入力や結果を追いやすくなります。
また、エージェントがローカルの DB やレンダーファイルを直接変更しないようにすることで、アプリが管理する検証と状態更新を通せます。後から GUI で開いたときに同じ内容が見え、修正履歴や生成状態も一貫します。自由に何でも実行できることより、制作の境界に沿って使えることを優先した設計です。