ローカル音声サービス

初回デプロイ完了後は、外部通信なし（完全オフライン）で稼働します。

初回セットアップ時に Docker イメージとモデル重みを一度ダウンロードすれば、その後の音声認識・LLM 推論・音声合成はすべて Jetson ホスト内で完結します。

英語と中国語に対応しています。

• 英語構成：Whisper 英語モデル、Llama-3.2-1B / 3B、Piper TTS 英語音声を組み合わせて稼働
• 中国語構成：FunASR / SenseVoice、Qwen2.5-1.5B / 7B、Sherpa-ONNX 中国語音声を組み合わせて稼働

※ デプロイ時に使用言語を選択すると、最適なモデルパイプラインが自動構成されます。

Jetson Orin NX 上で、ユーザーの発話終了から約 0.8〜1.5 秒で音声応答を開始します。

• ストリーミングパイプライン：ASR（音声認識）→ LLM（ストリーミング生成）→ TTS（チャンク音声合成）をパイプライン処理
• ファーストトークン遅延：最初のテキストトークン生成と同時に音声合成を開始するため、対話の待機時間を最小限に抑えています。

reComputer J30（Orin Nano）および J40（Orin NX）シリーズに対応しています。

• reComputer J4012 (Orin NX 16GB)：7B クラスの LLM を含めフル機能が快適に動作（推奨環境）
• reComputer J3011 (Orin Nano 8GB)：1.5B〜3B クラスの軽量 LLM（FP16/INT4 量子化）構成で安定動作
• Orin Nano 4GB：メモリ容量の制約により LLM と音声モデルの同時起動には非推奨です。

ノイズ抑制とエコーキャンセラーを内蔵した USB 音声デバイスを推奨します。

• 推奨ハードウェア：reSpeaker USB マイクアレイシリーズ（ハードウェア AEC 搭載でクリアな収音が可能）
• 汎用デバイス：一般的な USB ヘッドセットやスピーカーマイクも動作可能ですが、ハウリングや誤認識を防ぐため音量調整が必要です。

OpenAI 互換インターフェース経由で、Function Calling や RAG システムと連携可能です。

• API 互換性：内部の LLM エンジンが OpenAI 準拠のエンドポイントを提供
• 拡張方法：LangChain や LlamaIndex、Dify 等のエージェント基盤からローカルエンドポイントとして呼び出し、独自ツールを統合できます。

Piper TTS および Sherpa-ONNX の豊富な音声モデルから声色を選択・変更できます。

• 事前提供モデル：落ち着いたアナウンス調から親しみやすいキャラクター音声まで複数のボイスモデルを用意
• カスタム音声：ONNX 形式の互換音声モデルを追加配置することで、独自トーンの音声合成に対応可能です。

各パイプラインコンポーネントおよびモデルの個別オープンソースライセンスに従います。

• ソフトウェア基盤：デプロイツールおよびブリッジコードは Apache-2.0 で商用利用可能
• AI モデル：Llama-3.2（Meta ライセンス）、Qwen2.5（Apache-2.0）、Piper TTS（MIT）等、採用モデルごとの規約確認が必要です。