「Hey Jarvis, grab the water bottle」と言うと、reBot B601-DM アームが手首の深度カメラで対象物を見つけ、つかんで約11秒で持ち帰る。音声、言語モデル、検出、把持計画はすべて1台の reComputer J40（Orin NX 16GB）上で動作し、クラウド API は不要。
名前で頼まれた物を取り上げる、卓上アームです。
適さないケース：透明な物体、グリッパー開口 0.100 m を超える物体、乱雑に積まれたビン、成功率を明示する量産のピックアンドプレース。
4 つの要素があります。reBot B601-DM アーム、その手首に取り付けた Orbbec Gemini 2 深度カメラ、スピーカーを備えた reSpeaker USB マイク、そしてすべてを実行する reComputer J40 です。いずれも USB で J40 に接続します。初回起動でモデルをダウンロードした後は、インターネットは不要です。
抓取の前に、各台につき 1 回ハンドアイキャリブレーションが必要です。 所要時間は約 30 分：マーカーボードを印刷し、アームにその上で約 16 姿勢をスキャンさせ、結果を保存します。キャリブレーション前でも音声・検出・ダッシュボードは動作しますが、抓取コマンドではアームは動きません。
ウェイクワードは "Hey Jarvis" です。その後に何を取るか、例えば "grab the box"、"grab the banana" のように伝えます。
**reComputer J40 シリーズ（Orin NX 16GB）**が 1 つの compose ファイルで 3 つのサービスを実行します。
| サービス | 内容 |
|---|---|
| 音声 | ストリーミング音声認識と音声合成 |
| 言語モデル | ローカルの Qwen3.5-4B が発話を抓取リクエストに変換 |
| アームエージェント | ウェイクワード、カメラ、物体検出、抓取プランニング、アーム制御、ライブダッシュボード |
空き容量は約 10 GB を見込んでください。初回起動では、コンテナイメージ約 1.4 GB に加えて、約 8.5 GB のモデルをダウンロードします。
データインターフェースは下の「何が取り出せるか」を参照してください。
導入ガイドに基づく代表値。reComputer J40 + reBot B601-DM + 手首の Gemini 2、ハンドアイキャリブレーション実施後の構成です。
| 利用者が得られるもの | 代表値 | 機器 |
|---|---|---|
| 音声コマンドから対象物を運び戻すまで | 約 11 秒 | reComputer J40 シリーズ（Orin NX 16GB） |
| 把持できる物体の種類 | 5 種 —— 箱、不透明なカップ、立てた不透明ボトル、バナナ、オレンジ | reComputer J40 シリーズ（Orin NX 16GB） |
制約
すべてのインターフェースは J40 が提供します。
| インターフェース | 内容 |
|---|---|
http://<jetson-ip>:8776 | ライブダッシュボード：手首カメラの映像とアームの状態 |
GET http://<jetson-ip>:8776/api/state | アームの姿勢、グリッパーの状態、直近の把持結果を JSON で |
GET http://<jetson-ip>:8776/api/frame.jpg | 手首カメラの最新カラーフレーム |
GET http://<jetson-ip>:8775/observation | アームの位置 x / y / z と、グリッパーが把持中かどうか |
http://<jetson-ip>:8000 | ローカルの言語モデルサービス |
他システムは状態を読むだけで、アームを動かす必要はありません。 記録システム、デジタルツイン、ライン監視は LAN 上から observation エンドポイントをポーリングできます。
再利用できる単位は「ウェイクワード → ローカル認識 → 言語モデルが対象物を選ぶ → 手首カメラで検出 → 把持を計画して実行 → 音声で結果を返す」というチェーンです。
| レイヤー | 移植時に必要な作業 |
|---|---|
| 音声、ウェイクワード、ローカル言語モデル | そのまま再利用 |
| 検出器の対象物リスト | 設定の編集 —— 再学習は不要 |
| 箱・円筒・長物・球状に対する把持ルート | 近い形状ならそのまま再利用 |
| ハンドアイキャリブレーション | 個体ごとにやり直す |
| アームドライバ | reBot B601-DM 以外のアームでは書き直す |
構成と製品リストを確認し、デプロイガイドの手順に進みます。
現場条件を選択して推奨パッケージと手順書を生成。AI による選定支援や一括導入も利用できます。
3 つのサービス（音声、LLM、アーム agent）からなるフルスタックを 1 つの compose ファイルで Jetson Orin NX にデプロイし、ライブダッシュボードで検証。ハンドアイキャリブレーション（現地で 1 回限り）を行うとグラスピングが有効になる。
3 ステップ · 約 60min
完全オフラインで動作します。音声指示からピック＆プレース動作まで外部通信は不要です。
音声認識（ASR）、音声合成（TTS）、LLM 推論、物体検出ビジョン、逆運動学（IK）計算の全スタックがローカルの Jetson 上で自律実行されます。
マイク音声やカメラ映像が外部ネットワークへ送信されることは一切ありません。
音声指示から約 1.5〜3 秒で把持動作を開始し、100〜200 g までの小物を安定把持できます。
カメラの視野内（作業マット上）に、対象物が重なり合わないよう配置してください。
真上からのトップダウンカメラ構成により、机上のワーク座標（X, Y）と回転角度を高精度に検出します。
オープンボキャブラリ物体検出モデルまたは VLM を有効化することで、未知の物体も認識可能です。
「赤いリンゴを取って」「青いペンを渡して」等の自然言語による自由な指示に対応できます。
カメラのピクセル座標系をロボットアームの物理ミリ座標系へ変換するために必須です。
ROS 2 アクションインターフェースまたは HTTP REST API 経由で遠隔制御・状態取得が可能です。
上位の生産管理システムから把持指令を JSON POST したり、動作完了イベントを購読して連携できます。
設定ファイルからウェイクワード（呼びかけ名）、TTS 音声、対話モデルを自由に変更可能です。
キャラクター設定や応答トーンを自社ブランドに合わせてパーソナライズできます。