English | 日本語

マイクに話しかけると、キャラクターが声と映像でリアルタイムに答える — Realtime_Narration_Video(r-n-v)をヘッドレスのキャラクターレンダリングサービスとして使う、音声会話クライアントです。

r-n-v で登録したキャラクターとの会話に特化した薄いアプリです。動画生成・TTS・プリセットは r-n-v 側に任せ、会話の頭脳(ROLE 注入・マイク音声入力・履歴のローリング要約)をこちらが持ちます。

マイクとテキストでキャラクターと会話する様子を、編集なしの実時間で収録したものです。応答チャンクは再生より速く生成されるため、会話は途切れずに続きます。クリックでMP4版（6.4MB）を開きます。

ブラウザ ──(マイクVAD/テキスト)──> Realtime Conversation Video (8791)
   │                                  │  OpenAI互換 LLM (gemma4-E4B, input_audio対応)
   │                                  │  返答確定後 POST /narrations (LLMバイパス)
   └──(プリセット復元/SSE/MP4)──> realtime-narration-video (8782)

• 音声入力: ブラウザ側 VAD(energy+ZCR、BPF 250-4000Hz、無音900msで区切り)。 区切った WAV を base64 でそのまま LLM の input_audio に渡す(ASR 不要)。 文字起こしは表示・履歴用に並列で行う(返答を待たせない)。
• ROLE: SYSTEM プロンプトに追記。preset ごとにブラウザの localStorage へ保存 (ターン送信前に自動でサーバへ同期される)。
• 話者ID: r-n-v の PATCH /api/sessions/{id}/settings で反映。
• 履歴: 直近4ターン+古いターンはローリング要約。長い返答は要約版を履歴に使う。

これらの設計判断の理由(ASRを返答経路から外す構造、KVキャッシュを守る運用設計、初回応答のレイテンシ予算)は docs/conversation-pipeline.md で解説しています。

前提サービス: gateway(8630) → TTS(10101) → r-n-v(8782)。 r-n-v は CORS 対応版(2026-09-17 以降の master)であること。

./run.sh          # http://localhost:8791

本アプリは以下のスタックの最上段に載る会話クライアントです(下から順に起動):

1. diffusers-movie-server gateway(8630)— LTX-2.5 バックエンド管理
2. AivisSpeech Engine(10101)— TTS
3. Realtime_Narration_Video(8782)— キャラクターレンダリング(2026-09-17 以降の CORS 対応版)
4. 本アプリ(8791)

LTX-2.5 の高速化・低VRAM化の技術詳細は diffusers-ltx2_5 の docs を参照してください。r-n-v の 32GB 級構成(nvfp4-32gb)でもそのまま動作します。

このリポジトリ内のアプリケーションコードは Apache License 2.0 で公開しています。

依存モジュール、外部サービス、モデル、ウェイト(LTX-2.5、Gemma、AivisSpeech 等)は本ライセンスの対象に含まれません。それぞれの提供元が定めるライセンス・利用規約に従ってください。本リポジトリにはモデルおよびモデルウェイトを同梱していません。