スーパーマーケット商品認識

棚とレジ台の商品を見分け、新商品は数枚の写真でカタログに追加できます。

レジのベルトや棚の商品をすべて認識します:レジでは商品リストを取得し、棚では空きや誤配置のスロットを報告します。新商品は 3〜8 枚の写真で登録でき、再学習は不要です。

SenseCraft上級90minビジョン & 映像 AI

1 つの棚、4 段 × 5 スロットを RK3588 ボード上で 1 回のスキャンで読み取り。各スロットを判定結果で枠囲みし(緑は正常、オレンジは欠品)、下部にボード名、スキャン時間帯、不一致件数を表示:ここでは 20 件中 0 件

同じ 20 スロットの構成で、1 スロットに誤った商品を補充した後。そのスロットだけが赤枠になり wrong_sku と表示され、残り 19 スロットは緑のまま

RK3588 ボード上でのレジ通過の再生 —— 各商品はカウンターを移動する間、トラック ID とインスタンス番号を保持します

レジと棚のボード —— 左が直近の買い物かご、右が 4 状態のスロットスナップショット。上流の web_demo ツールによる合成デモデータで、現場での結果ではありません

認識イベントの一覧 —— ウィンドウごとのシーン、デバイス、枠数、商品サマリ。シーン、デバイス、SKU、時刻で絞り込めます。上流の web_demo ツールによる合成デモデータで、現場での結果ではありません

1 件のイベントの詳細パネル —— 枠ごとの類似度、上位 2 件の差、OCR 再ランクの状態、VLM フォールバック、および照合に使った商品ライブラリのバージョンとモデルのハッシュ

商品ライブラリ —— ロールバック可能なバージョン履歴と、現行バージョンに登録された SKU(別名、画像数、ライセンス付き)

再利用できる現場テンプレート

カメラ位置が固定され、パッケージが似ていて、商品カタログが頻繁に変わる店舗。

レジレーン

レジレーン

コンビニや生鮮スーパーのレジ台。かごの中をまとめて見て、1 点ずつのバーコード読み取りをしません。

棚の在庫確認

棚の在庫確認

スーパーの棚前、無人什器の内側。人が見て回らなくても、欠品と置き間違いを報告します。

毎週 SKU が変わる店舗

毎週 SKU が変わる店舗

お菓子のディスカウント店、新商品の試験販売店。新商品は 3〜8 枚撮って登録すれば使え、再学習は不要です。

適さない条件:計量法に基づく計量、法的な価格表示、万引き検知。精度に最も効くのは登録枚数なので、SKU ごとに複数の角度で撮影してください。棚の画像は商品が多いほど、1 フレームの処理時間が長くなります。

どう実現するか

レジ台や棚の上にあるカメラが映像を取得し、認識ホスト(reComputer J40 シリーズまたは reComputer RK3588 シリーズ)が判定し、店舗の管理端末がまとめ、結果を既存のレジや発注のシステムへ送ります。

スーパーマーケット商品認識の機器構成:RTSP または USB カメラ 1 台が映像を識別ホスト(Rockchip NPU ボックス、Hailo-8 搭載の reComputer R2000、または Jetson Orin ボックス)に送り、識別ホストはフレームごとに MQTT メッセージ 1 件を管理端ホストへ発行する。管理端ホストは登録サービス・管理 UI・ブローカーを実行し、店舗側クライアントが読み取る

4 つの要素があります。レジ台上または棚に向けたカメラ、検出器とエンベッダーを実行するホスト 1 台、商品ギャラリーを生成し UI を提供する管理端ホスト、そしてイベントを読み取る側です。いずれも現場にあります。管理端ホストは共有インフラであり、新しい SKU の登録先であるため、どのプリセットでも必要です。

Camera

レジ台上または棚に向けたカメラ 1 台を RTSP または USB で接続します。カメラ側では何も実行しません。

  • レジ用と棚用でモデルビルドが異なります。 レジ用は 640² フレーム、棚用は 1280² フレームを入力するため、遠くの棚の商品も見逃しません。
  • 予算はフレームレートではなく商品点数で考えます。 画面内の商品は 1 点ずつ照合されるため、商品が密集した棚のフレームは 5 点のかごより大幅に時間がかかります。

棚での利用にはフレーム間引きまたは棚位置ごとのサンプリングが必要です。

アーキテクチャ内部、テスト方法と各プラットフォームの実測データ技術 Wiki を見る →

どこまでできるか

導入後、店長がブラウザーで見て操作する画面。

イベント台帳、フレーム単位で追跡

  • シーン/デバイス/SKU/期間で絞り込み
  • 詳細でトラッキング番号・類似度・版番号を確認
  • 僅差の判定は赤表示でOCR再判定へ

棚とレジを一画面で照合

  • 上部カードにイベント数・版・累計点数を表示
  • 棚は正常/空き/配置誤り/認識不可の4分類
  • 異常な棚は期待SKUと実測を表示

バージョン管理された商品ギャラリー、誤りはロールバック

  • 各版で親版・SKU数・ベクトル次元を確認
  • 現行版以外はワンクリックでロールバック
  • 変更はデバイスの次回取得で反映

新しい SKU を登録する

  • SKU ID・名前・別名を入力、写真3〜8枚を提出
  • 提出すると新版を生成、その場での上書きなし
  • 旧版は残りいつでもロールバック可能
実測データ

デバイス上での再生と、公開データセットでのベンチマークです。認証された数量や価格ではありません。

店舗が得られるもの代表値機器
レジ:商品検出から結果発行まで22.3 ms p50(42.8 ms p95)reComputer J40 Series(J4012、Orin NX 16GB)
2 956 フレームのレジ通過再生でのフレーム落ち0reComputer J40 Series
棚:商品検出から結果発行まで924 ms p50(1153 ms p95)reComputer RK3588 Series
704 クロップでの棚商品 top-1、CPU リファレンス比541 / 704、同一reComputer RK3588 Series

Grocery Store Dataset(81 クラス)での認識精度は、SKU あたり 8 枚の写真で top-1 84.67%、top-5 96.66% です。

精度を最も左右するのは登録写真の枚数です。8 枚で top-1 79.11%、1 枚では 51.11%(小型モデル)。SKU ごとに複数の角度から撮影してください。機器ごとの実測データと認識精度ベンチマークは エンジニアリング Wiki · エッジ商品認識ソリューション を参照してください。

テスト方法・条件の注記・4 つの実測表 · 技術 Wiki を見る →
何が取り出せるか

導入後の接点はこの 3 つだけで、いずれもローカルネットワーク上にあります。

インターフェース場所内容
MQTT retail/v1/eventsコンソールホスト上のブローカー、1883フレームごとに JSON 1 件:各商品のトラック ID、枠、SKU、類似度、サマリ(レジの商品と数量、棚の欠品と置き違いスロット)、商品ライブラリのバージョンとモデルのハッシュ
HTTP /v1/gallery/*登録サービス、80893〜8 枚の画像から SKU を新しいバージョンとして登録、バージョン一覧、現行バージョンのダウンロード、ロールバック
HTTP /api/*管理 UI、8080シーン・SKU・デバイス・時刻で絞り込んだイベント一覧、商品ごとの詳細、レジと棚のボード

多くの連携ではサマリ部分だけを読みます。類似度は、同じメッセージに含まれる商品ライブラリのバージョンとモデルとあわせて初めて意味を持ちます。アクセスには viewer・operator・admin いずれかの権限を持つトークンが必要です。同梱のブローカーにはパスワードがないため、検証環境から出す前にアカウントを設定してください。

全ペイロードフィールドと Home Assistant の自動検出エンティティ · 技術 Wiki を見る →
自社システムへの移植

再利用できる単位は「食料品」ではなく、「商品を検出 → バージョン管理された商品ライブラリと照合 → 集計 → MQTT」というチェーンです。商品カタログに紐づくのはライブラリの中身だけで、それ以外はそのまま使えます。

レイヤー移植時に必要な作業
商品検出器と 2 種類の入力サイズそのまま再利用。対象物が包装商品と大きく異なる場合のみ再学習
識別モデルとその量子化レシピそのまま再利用
バージョン管理された商品ライブラリとロールバックそのまま再利用
登録 API、写真の品質チェック、アクセス権限そのまま再利用
MQTT メッセージとフレームごとのサマリ新しい集計ルールに合わせてサマリを調整
ライブラリの中身と登録用の写真新しいカタログ向けに収集

適用範囲:部品棚とキッティング作業台、返品の仕分け、資産の受け入れ、工具庫の管理。

適さない形態

  • 法的な根拠となる数量や価格。 見えているものを数えるだけで、計量法上の認証も、盗難の立証もできません。
  • 細かい印字でしか区別できない商品。 ラベル読み取りは未実装のため、ほぼ同一の包装は区別できません。
  • 同梱の学習済み重みの商用利用。 2 つのモデルはいずれも非商用のデータセット条項を引き継ぐため、再学習が必要です。

どう導入するか

現場の状況をお聞かせください。ハードウェアはこちらで選び、その後データ接続と手順に進みます。

撮影シーン

カメラは何を映しますか?シーンによって、コンパイル時の入力サイズと 1 フレームあたりのクロップ数が決まります。

自分で比べる:各構成のスペック対照デプロイガイド · 90min →
構成役割機材数量
Rockchip NPU — RK3588 / RK3576Console HostConsole / On-Prem Host1
Recognition HostreComputer RK3588 シリーズ / reComputer RK3576 シリーズ(いずれか)1
CameraRTSP / USB Camera1
reComputer R2000 (Hailo-8) — Detector on the NPU, Embedder on the CPUConsole HostConsole / On-Prem Host1
Recognition HostreComputer Industrial R20 シリーズ1
CameraRTSP / USB Camera1
Jetson Orin — TensorRTConsole HostConsole / On-Prem Host1
Recognition HostreComputer J40 シリーズ(Jetson Orin NX) / reComputer J30 シリーズ(Jetson Orin Nano)(いずれか)1
CameraRTSP / USB Camera1
プリセット認識ホスト商品の検出商品の識別デバイス上で通した全経路
Rockchip NPU —— RK3588 / RK3576reComputer RK3588NPU既定では Rockchip CPU棚の再生
reComputer R2000 Series(R2035-12、Hailo-8)—— 検出は NPU、埋め込みは CPUHailo-8 オプション付き reComputer R2000 Series(R2035-12)Hailo-8ホスト CPU含まれません
reComputer J40 —— TensorRT、両段とも GPUreComputer J4012(Orin NX 16GB)または J3011(Orin Nano 8GB)GPUGPU両モデルでレジ通過の再生
  • どのプリセットでも、コンソールホストとカメラが別途必要です。コンソールの 2 つのイメージはそのホスト上でビルドします。ビルド済みイメージは公開していません。
  • 難易度は 上級、ガイドの目安は 1 プリセットあたり約 90 分 です。

よくある質問

不要です。その SKU の写真を 3〜8 枚撮影して管理コンソールにアップロードすると、新しい商品ライブラリのバージョンが生成されます。3 枚未満はアップロードを拒否されます。

お探しの答えが見つかりませんか?
お問い合わせ
ハードウェアパートナーとしてうれしいです!
次へ