割り込み可能な対話型音声AI

中国語と英語の音声アシスタントが、ハードウェアアクセラレーションで端末上でその場で聞き取って答えます。

デバイス上で応答し、応答中でも割り込める音声端末。聞き取りと発話はローカルで完結し、対話モデルは自前のクラウドエンドポイントかオンデバイスのどちらか。reComputer RK、reComputer J30 / J40(Orin)、reComputer R2000 シリーズで動作し、対話言語はデプロイ時に固定される。

SenseCraft中級30min音響 & 音声 AIAI Agent 対応ソースコード

音声端末を 1 枚で —— エッジボード上の AEC マイクアレイとスピーカー。対話モデルは API の先か、同じボード上のどちらかに置きます

再利用できる現場テンプレート

立ったまま声で操作し、手がふさがっていて、誤った回答をすぐ遮れる必要がある場所。

受付カウンターと展示ブース

受付カウンターと展示ブース

行政窓口の案内カウンター、展示会のブース、店舗の接客カウンター。回答がずれたら割り込んで聞き直せます。

ロボットや装置の音声入力

ロボットや装置の音声入力

卓上ロボット、配送ロボット、工場の操作卓。背後のモデルを入れ替えても、この層はそのまま使えます。

部屋と家庭用端末

部屋と家庭用端末

リビング、会議室、ホテル客室。離れた位置からの発話に対応し、自分の再生音では起動しません。

適さない条件:ハードウェアエコーキャンセラーのないマイク。reComputer R2000 シリーズ上での中国語。

どう実現するか

マイクアレイが音声を取得し、エッジ音声ホストが認識と合成を行い、スピーカーが応答を再生します。対話モデルは同じホスト上、または自社のエンドポイントで動作します。

4 つの要素があります。ハードウェアですでにエコーを除去したマイクアレイ、スピーカー、認識・合成・常駐エージェントを実行するエッジボード 1 台、そして API の先か同じボード上のどちらかに位置する対話モデル 1 つです。最初の 3 つは常に現場にあります。外部ネットワークを経由するかどうかは、4 つ目だけで決まります。

On-Site Capture

マイクは必須要件です。 ハードウェアですでにエコーを除去した採取チャンネルを備えている必要があります。普通の USB マイクではスピーカーの音を再度拾ってしまい、端末が自分の発話に割り込み始めます。

  • reSpeaker XVF3800 が検証済みの既定選択です。USB 接続でハードウェアエコーキャンセル、ノイズ抑制、ビームフォーミングを行い、処理済みチャンネルが自動で選択されます。
  • 他のアレイは最初の採取チャンネルにフォールバックし、現場での音響確認が必要です。
  • USB または 3.5mm スピーカーが応答を再生します。再生中にマイクをミュートすると、エコーと同時に割り込み発話(バージイン)もできなくなります。

マイクはエージェント動作中に抜き差し可能で、採取は再起動なしに復帰します。

アーキテクチャ内部、テスト方法と各プラットフォームの実測データ技術 Wiki を見る →

どこまでできるか

起動後、ブラウザのパネルに会話全体が流れる。

会話がその場で字幕になり、履歴も残る

  • 認識途中結果はグレー表示、確定後に本文化
  • ステータスは待機/思考中/発話中で遷移
  • メッセージ種別でログを絞り込み可能

返答の途中でも割り込める

  • 発話で即座に割り込み、再生を停止
  • 新しい発話結果はそのままログに挿入
  • 割り込みは設定でオフも可能

毎ターンの応答遅延が見える

  • TTFT / TTFA をリアルタイム表示、履歴付き
  • TTSカードに文数・バイト数・合成時間を記録
  • SLVカードに接続状態と再接続回数を表示

人格・声・待ち受け方式はブラウザで変えられる

  • ブラウザでプロンプト編集、保存だけで即反映
  • 内蔵音声を切替、録音で声のクローンも可能
  • 待ち受け方式は常時/ウェイクワード/プッシュ・トゥ・トーク

言語はデプロイ設定で丸ごと切り替わる

  • パネルUIは中国語固定、会話言語はデプロイ設定
  • enに切替えると認識/応答/合成が全て英語に
  • パネル操作は変わらない
実測データ

2 種類のボードで実測しています。行に明記がない限り、対話モデルは経路に含みません。

利用者が体感するもの代表値機器モデルを含む
発話終了から応答音声の先頭フレームまで800 ms 未満reComputer J40 Seriesはい
発話終了から応答音声の先頭フレームまで100 ms p50reComputer J40 Seriesいいえ
発話終了から応答音声の先頭フレームまで約 1.6 秒reComputer RK3576いいえ
発話終了からテキスト結果まで16 ms p50reComputer J40 Seriesいいえ
中国語の認識誤り率(短い発話)1.05% CERreComputer RK3576——
英語の認識誤り率(短い発話)3.65% WERreComputer RK3576——

モデルを含まない行には、接続する対話モデルの応答時間を加えてください。クラウドのエンドポイントではネットワークの往復時間にも左右されます。10〜20 秒の長い発話では、認識誤り率が中国語 9.62% CER、英語 6.99% WER まで上がります。

セッションは最初の自然な区切りで応答します。 ターン検出は最短 2.5 秒の後、400 ms の無音を待つため、途中に間のある長い文では最初の節の時点で応答が返ります。機器ごとの音声認識・合成遅延マトリクスは エンジニアリング Wiki · 対話型音声 AI ソリューション を参照してください。

テスト方法・条件の注記・4 つの実測表 · 技術 Wiki を見る →
何が取り出せるか

すべて音声ホスト自身が提供します。対話モデルの向き先を外部にしない限り、クラウドには何も送られません。

インターフェース動作場所内容
ws://<host>:8621/v2v/stream音声サービス、全プリセット双方向セッション:PCM を入力し、文字起こしと合成音声を出力。割り込み時の中断通知も含みます
POST http://<host>:8621/asr音声サービスファイル全体のオフライン文字起こし。上記の精度はここで測定しています
POST http://<host>:8621/tts音声サービス音声合成。リアルタイム係数をレスポンスヘッダーで返します
http://<host>:18000エージェントWeb ダッシュボード : 待機/思考中/発話中/割り込み済みの状態と、各ターンの文字起こし
http://<host>:1828/v1RK1828 カード、RK ローカルプリセットオンデバイスの Qwen3-4B 向け OpenAI 互換 Chat Completions
http://<host>:8000/v1Orin NX、Jetson ローカルプリセットオンデバイスの Qwen3.5-4B 向け OpenAI 互換 Chat Completions
対話モデルのアドレス(外向き)クラウドプリセット任意の OpenAI 互換エンドポイント。既定は Qwen API

統合点はメッセージのトピックではなく、対話モデルのインターフェースです。 モデルのアドレスを自社サービス(エージェントフレームワーク、RAG エンドポイント、ロボットのコマンド層など)に向ければ、音声層はそのまま使えます。

全ペイロードフィールドと Home Assistant の自動検出エンティティ · 技術 Wiki を見る →
自社システムへの移植

再利用できる単位は「ハードウェアエコーキャンセル付きの集音 → ローカル認識 → OpenAI 互換の呼び出し 1 本 → ローカル合成 → 割り込み可能な再生」というチェーンです。製品の中身に紐づくのは 1 区間だけで、それは URL の背後にあります。

レイヤー移植時に必要な作業
マイクの選定、チャンネル検出、ホットプラグ復帰そのまま再利用
4 種類のアクセラレータランタイム上の Qwen3-ASR と Matcha-TTSそのまま再利用
双方向セッション、割り込み、再生バッファの排出そのまま再利用
言語とボードの対応チェックと、非対応の組み合わせの拒否そのまま再利用
対話モデルのアドレスの先にあるサービスここが自社製品の中身になります
システムプロンプトと応答の長さのポリシー新しいタスクに合わせて調整

ストリーミングの Chat Completions を話せるものはそのまま接続できます:自社文書に対する RAG サービス、ツール呼び出しを持つエージェントフレームワーク、ロボットのコマンド層、チケットや受注のバックエンドなど。

適さない形態

  • ウェイクワードだけの機器。 押して話すタイプや単一コマンドの機器では、常時受聴のセッションと割り込みはコストに見合いません。
  • レイテンシの保証値が必要な導入。 上記の数値は各行が示すボードとモデルに対するものです。自社の構成でエンドツーエンドに実測してください。
  • 30 言語のカタログ外の言語、および reComputer R2000 シリーズでの中国語。いずれも導入時に拒否されます。

どう導入するか

現場の状況をお聞かせください。ハードウェアはこちらで選び、その後データ接続と手順に進みます。

構成を選ぶ

現場の状況をお聞かせください。ハードウェアはこちらで選びます。

ソリューションのセルフ相談・デプロイ

言語

利用者はどの言語で話しかけますか?ボード側がその言語を認識し、かつ話し返せる必要があります。すべてのボードがすべての言語に対応するわけではありません。

構成を選ぶ

現場の状況をお聞かせください。ハードウェアはこちらで選びます。

  • クラウド / OpenAI 互換 LLM —— RK3576

    ローカル音声スタック一式が動く最小コストのボードで、公開済みのベンチマークを持つ唯一のボードです —— 短い中国語発話で 1.05% CER、TTS はリアルタイムの 0.2 倍。中国語と英語のみに対応し、対話モデルは API 呼び出しです。

    硬件/物料名称数量型号/SKU说明
    reComputer RK35761100052518-
    reSpeaker XVF3800 USB 4 マイクアレイ1101991441-
  • クラウド / OpenAI 互換 LLM —— RK3588

    RK3576 が話せない他の 28 言語に対応します。このボードは Kokoro RKNN で合成します。対話モデルは同じくクラウドです。後から RK1828 カードを追加して完全ローカル対話に移行できるホストでもあります。

    硬件/物料名称数量型号/SKU说明
    reComputer RK35881100071234-
    reSpeaker XVF3800 USB 4 マイクアレイ1101991441-
  • クラウド / OpenAI 互換 LLM —— Orin Nano 8GB

    別の AI 処理と共有するボード向けです。音声スタックを Orin Nano の GPU で動かし、隣に視覚モデルを置く余力を残します。Nano 上でローカルの 4B モデルは起動しないでください。ここでの対話モデルは API 呼び出しのままです。

    硬件/物料名称数量型号/SKU说明
    reComputer Super J30111114110312-
    reSpeaker XVF3800 USB 4 マイクアレイ1101991441-
  • 完全ローカル対話 —— Orin NX 16GB

    Qwen3.5-4B を Qwen3-ASR・Matcha-TTS と同じボードで動かすため、初回起動で成果物をキャッシュした後は何も現場外に出ません。JetPack 6.2 と 25 GB 以上の空き容量が必要です。もう 1 つの完全ローカル構成(RK3588 + RK1828 / RM182X カード)は導入ガイドでは対応していますが、見積もり用の購入プロファイルがありません。

    硬件/物料名称数量型号/SKU说明
    reComputer Super J40121114110314-
    reSpeaker XVF3800 USB 4 マイクアレイ1101991441-
自分で比べる:各構成のスペック対照デプロイガイド · 30min →

パッケージ別ハードウェア一覧

構成役割機材数量
クラウド or OpenAI 互換モデルCompute DevicereComputer RK3576 シリーズ / reComputer RK3588 シリーズ / reComputer J30 シリーズ(Jetson Orin Nano) / reComputer J40 シリーズ(Jetson Orin NX) / external_raspberry_pi_5(いずれか)1
AEC MicrophonereSpeaker XVF3800 4マイクアレイ1
完全ローカル対話Local AI DevicereComputer RK3588 シリーズ / reComputer J40 シリーズ(Jetson Orin NX)(いずれか)1
AEC MicrophonereSpeaker XVF3800 4マイクアレイ1

技術仕様・実装パスの比較

プリセット対話モデル対応する音声ホストオフライン動作適する用途
クラウド / OpenAI 互換 LLM既定は Qwen API、または任意のエンドポイント/キー/モデルを入力RK3576・RK3588・Orin Nano 8GB・Orin NX 16GB・reComputer R2000 シリーズ不可 : モデル呼び出しにネットワークが必要対話全体を最短で動かす場合、すでに契約しているモデルを使う場合
完全ローカル対話RK1828 / RM182X 上の Qwen3-4B、または Orin NX 16GB 上の Qwen3.5-4BRK3588 + RK1828・Orin NX 16GB可能(イメージとモデル成果物のキャッシュ後)対話テキストを現場外に出せない場合、運用コストを固定したい場合

音声処理はどちらのプリセットでもローカルです。プリセットが決めるのは対話モデルの実行場所だけです。クラウドプリセットには上流の 推奨 バッジが付いています。

難易度は 中級、目安は約 30 分 です。完全ローカルのプリセットは、初回起動時にモデル成果物をダウンロードするため長くかかります。

よくある質問

発話中の割り込み(バージイン)に完全対応しています。

音声再生中もマイクの入力チャンネルが開いた状態を維持しているため、AI の応答途中で話しかけると音声生成が即座に中断され、再生キューがクリアされて次のターンへ移行します。

  • 検証基準:デプロイガイドの手動テスト手順に基づき、連続 3 ターン、各回答開始から 0.5〜1 秒後の割り込み動作を確認済みです。
お探しの答えが見つかりませんか?
お問い合わせ
ハードウェアパートナーとしてうれしいです!
次へ