リモコンもアプリも使わず、話しかけて動かす小型の移動ロボットです。
- STEM 教育：サーボ、マイコン、音声、言語モデルを 1 つの製作で扱えます。
- ロボットの試作：配送・点検・コンパニオンロボットのアイデアを、音声操作の台車から始められます。
- イベント・デモ：来場者が話しかけ、動く様子を見られます。
- ハンズフリー操作の研究：介助用途に向けた音声運転を試せます。
適さないケース：インターネットのない現場、英語以外の言語、自律走行、データを現場外に出せない用途。
三輪ロボット LeKiwi を音声で操縦する。「Hey Jarvis」と英語のコマンドを言うと、ロボットが応答して前進、後退、横移動、旋回する。音声認識、言語モデル、音声応答は Groq のクラウド API 上で動作するため、ロボットにはインターネット接続が必要。
リモコンもアプリも使わず、話しかけて動かす小型の移動ロボットです。
適さないケース：インターネットのない現場、英語以外の言語、自律走行、データを現場外に出せない用途。
ロボット上には 5 つの要素があります。3 個の車輪サーボを持つ LeKiwi シャーシ、サーボを駆動する XIAO ESP32S3、音声処理を担う Pi 5（8GB）、reSpeaker Flex マイクアレイ、そしてスピーカーです。Pi は発話された指令をそれぞれ Groq のクラウド API に送信し、得られた動作を USB 経由で XIAO に渡します。
セットアップはデプロイガイドに従います。シャーシを組み立て、サーボ ID 1〜3 を 1 つずつ割り当て、モーター用ファームウェアを書き込みます。サーボには外部電源が必要で、USB だけでは動作しません。
約 1 m 以内に立って 「Hey Jarvis」 と言うと、ロボットは続けて 3 秒間の指令を録音します。
ロボット上の Pi 5（8GB） が 1 つのコンテナでウェイクワード検知、録音、シリアル通信、再生を実行します。
| 工程 | 実行場所 |
|---|---|
| ウェイクワード検知 | Pi 本体 |
| 音声認識（Whisper） | Groq クラウド |
| 応答と動作の決定（Llama 3.1 8B） | Groq クラウド |
| 音声応答（Orpheus、英語） | Groq クラウド |
| 車輪制御 | XIAO ESP32S3 |
Groq の API キーが必要です。無料枠でも日常的な用途には十分です。
データインターフェースは下記「取得できるデータ」を参照してください。
LeKiwi + XIAO ESP32S3 + Pi 5 + reSpeaker Flex の構成が、導入後にできることです。
使える機能
制約
音声側は USB シリアル（115200 baud）でモーターコントローラに接続し、1 コマンドを 1 文字で送ります。
| 文字 | 動作 |
|---|---|
w / s | 前進 / 後退 |
q / e | 左 / 右への横移動 |
a / d | 左 / 右への旋回 |
x | 緊急停止 |
小文字は短い刻み動作、大文字は停止指示まで連続動作します。シリアルポートに書き込めるプログラムなら何でも台車を動かせるため、音声側を自前のコントローラに差し替えられます。
再利用できる単位は「ウェイクワード → クラウドの音声認識と言語モデル → 1 つの動作 → 1 文字のシリアルコマンド」というチェーンです。
| レイヤー | 移植時に必要な作業 |
|---|---|
| XIAO のモーターファームウェアとシリアルコマンド体系 | そのまま再利用 |
| Pi 上のウェイクワードとマイク選定 | そのまま再利用 |
| システムプロンプト内の動作リストと返答スタイル | 新しいコマンドに合わせて編集 |
| クラウドの認識・モデル・音声 | 現場がオフラインなら ローカル音声サービスに差し替える |
| センサーと自律性 | 自前で追加 —— 本デザインは発話された動作を実行するだけです |
構成と製品リストを確認し、デプロイガイドの手順に進みます。
現場条件を選択して推奨パッケージと手順書を生成。AI による選定支援や一括導入も利用できます。
ロボットを組み立てサーボ ID を設定、モーターコントローラーのファームウェアを書き込み、音声 AI ブレインを Raspberry Pi にデプロイ。
6 ステップ · 約 30min
ローカル音声モデルプリセットを選択すれば、完全オフラインで自律走行・対話が可能です。
ローカル構成では音声データがロボット外へ送信されることは一切ありません。
外部クラウド API プリセットを選択した場合のみ、暗号化通信を介して指定プロバイダーへ音声テキストが中継されます。
前進・後退・旋回等の移動制御から、周囲環境の説明や雑談まで幅広く対話可能です。
静かな室内環境であれば、ロボットから約 1.5〜3 m 離れた位置からの呼びかけを認識します。
走行中のモーターノイズを考慮し、内蔵 DSP によるノイズ抑制フィルタが適用されています。
クラウド高速 API 利用時で約 0.6〜1.2 秒、ローカルエッジモデル実行時で約 1.2〜2.0 秒です。
ストリーミング音声パイプラインにより、ユーザーの発話終了から極めて自然なタイミングで走行・発話を返答します。
下位の XIAO ESP32S3 マイコンと USB シリアル経由で直接通信し、独自プログラムから制御可能です。
x で緊急停止）を採用設定コンソールから 6 種類の合成音声やカスタムウェイクワードを自由に選択・変更できます。
対話言語の切り替えやプロンプト設定により、ロボットのキャラクター性を自在にチューニング可能です。
ローカルモデル構成であれば完全無料で永続運用可能です。
外部クラウド API（Groq 等）を利用する場合でも、無料利用枠の範囲内で日常的な開発・実証実験が十分にカバーされます。