スーパーマーケット商品認識

棚とレジ台の商品を見分け、新商品は数枚の写真でカタログに追加できます。

レジのベルトや棚の商品をすべて認識します:レジでは商品リストを取得し、棚では空きや誤配置のスロットを報告します。新商品は 3〜8 枚の写真で登録でき、再学習は不要です。

SenseCraft上級90minビジョン & 映像 AIAI Agent 対応

1 つの棚、4 段 × 5 スロットを RK3588 ボード上で 1 回のスキャンで読み取り。各スロットを判定結果で枠囲みし(緑は正常、オレンジは欠品)、下部にボード名、スキャン時間帯、不一致件数を表示:ここでは 20 件中 0 件

同じ 20 スロットの構成で、1 スロットに誤った商品を補充した後。そのスロットだけが赤枠になり wrong_sku と表示され、残り 19 スロットは緑のまま

RK3588 ボード上でのレジ通過の再生 —— 各商品はカウンターを移動する間、トラック ID とインスタンス番号を保持します

レジと棚のボード —— 左が直近の買い物かご、右が 4 状態のスロットスナップショット。上流の web_demo ツールによる合成デモデータで、現場での結果ではありません

認識イベントの一覧 —— ウィンドウごとのシーン、デバイス、枠数、商品サマリ。シーン、デバイス、SKU、時刻で絞り込めます。上流の web_demo ツールによる合成デモデータで、現場での結果ではありません

1 件のイベントの詳細パネル —— 枠ごとの類似度、上位 2 件の差、OCR 再ランクの状態、VLM フォールバック、および照合に使った商品ライブラリのバージョンとモデルのハッシュ

商品ライブラリ —— ロールバック可能なバージョン履歴と、現行バージョンに登録された SKU(別名、画像数、ライセンス付き)

再利用できる現場テンプレート

カメラ位置が固定され、パッケージが似ていて、商品カタログが頻繁に変わる店舗。

レジレーン

レジレーン

コンビニや生鮮スーパーのレジ台。かごの中をまとめて見て、1 点ずつのバーコード読み取りをしません。

棚の在庫確認

棚の在庫確認

スーパーの棚前、無人什器の内側。人が見て回らなくても、欠品と置き間違いを報告します。

毎週 SKU が変わる店舗

毎週 SKU が変わる店舗

お菓子のディスカウント店、新商品の試験販売店。新商品は 3〜8 枚撮って登録すれば使え、再学習は不要です。

適さない条件:計量法に基づく計量、法的な価格表示、万引き検知。精度に最も効くのは登録枚数なので、SKU ごとに複数の角度で撮影してください。棚の画像は商品が多いほど、1 フレームの処理時間が長くなります。

どう実現するか

レジ台や棚の上にあるカメラが映像を取得し、認識ホスト(reComputer J40 シリーズまたは reComputer RK3588 シリーズ)が判定し、店舗の管理端末がまとめ、結果を既存のレジや発注のシステムへ送ります。

4 つの要素があります。レジ台上または棚に向けたカメラ、検出器とエンベッダーを実行するホスト 1 台、商品ギャラリーを生成し UI を提供する管理端ホスト、そしてイベントを読み取る側です。いずれも現場にあります。管理端ホストは共有インフラであり、新しい SKU の登録先であるため、どのプリセットでも必要です。

Camera

レジ台上または棚に向けたカメラ 1 台を RTSP または USB で接続します。カメラ側では何も実行しません。

  • レジ用と棚用でモデルビルドが異なります。 レジ用は 640² フレーム、棚用は 1280² フレームを入力するため、遠くの棚の商品も見逃しません。
  • 予算はフレームレートではなく商品点数で考えます。 画面内の商品は 1 点ずつ照合されるため、商品が密集した棚のフレームは 5 点のかごより大幅に時間がかかります。

棚での利用にはフレーム間引きまたは棚位置ごとのサンプリングが必要です。

アーキテクチャ内部、テスト方法と各プラットフォームの実測データ技術 Wiki を見る →

どこまでできるか

導入後、店長がブラウザーで見て操作する画面。

イベント台帳、フレーム単位で追跡

  • シーン/デバイス/SKU/期間で絞り込み
  • 詳細でトラッキング番号・類似度・版番号を確認
  • 僅差の判定は赤表示でOCR再判定へ

棚とレジを一画面で照合

  • 上部カードにイベント数・版・累計点数を表示
  • 棚は正常/空き/配置誤り/認識不可の4分類
  • 異常な棚は期待SKUと実測を表示

バージョン管理された商品ギャラリー、誤りはロールバック

  • 各版で親版・SKU数・ベクトル次元を確認
  • 現行版以外はワンクリックでロールバック
  • 変更はデバイスの次回取得で反映

新しい SKU を登録する

  • SKU ID・名前・別名を入力、写真3〜8枚を提出
  • 提出すると新版を生成、その場での上書きなし
  • 旧版は残りいつでもロールバック可能
実測データ

デバイス上での再生と、公開データセットでのベンチマークです。認証された数量や価格ではありません。

店舗が得られるもの代表値機器
レジ:商品検出から結果発行まで22.3 ms p50(42.8 ms p95)reComputer J40 Series(J4012、Orin NX 16GB)
2 956 フレームのレジ通過再生でのフレーム落ち0reComputer J40 Series
棚:商品検出から結果発行まで924 ms p50(1153 ms p95)reComputer RK3588 Series
704 クロップでの棚商品 top-1、CPU リファレンス比541 / 704、同一reComputer RK3588 Series

Grocery Store Dataset(81 クラス)での認識精度は、SKU あたり 8 枚の写真で top-1 84.67%、top-5 96.66% です。

精度を最も左右するのは登録写真の枚数です。8 枚で top-1 79.11%、1 枚では 51.11%(小型モデル)。SKU ごとに複数の角度から撮影してください。機器ごとの実測データと認識精度ベンチマークは エンジニアリング Wiki · エッジ商品認識ソリューション を参照してください。

テスト方法・条件の注記・4 つの実測表 · 技術 Wiki を見る →
何が取り出せるか

導入後の接点はこの 3 つだけで、いずれもローカルネットワーク上にあります。

インターフェース場所内容
MQTT retail/v1/eventsコンソールホスト上のブローカー、1883フレームごとに JSON 1 件:各商品のトラック ID、枠、SKU、類似度、サマリ(レジの商品と数量、棚の欠品と置き違いスロット)、商品ライブラリのバージョンとモデルのハッシュ
HTTP /v1/gallery/*登録サービス、80893〜8 枚の画像から SKU を新しいバージョンとして登録、バージョン一覧、現行バージョンのダウンロード、ロールバック
HTTP /api/*管理 UI、8080シーン・SKU・デバイス・時刻で絞り込んだイベント一覧、商品ごとの詳細、レジと棚のボード

多くの連携ではサマリ部分だけを読みます。類似度は、同じメッセージに含まれる商品ライブラリのバージョンとモデルとあわせて初めて意味を持ちます。アクセスには viewer・operator・admin いずれかの権限を持つトークンが必要です。同梱のブローカーにはパスワードがないため、検証環境から出す前にアカウントを設定してください。

全ペイロードフィールドと Home Assistant の自動検出エンティティ · 技術 Wiki を見る →
自社システムへの移植

再利用できる単位は「食料品」ではなく、「商品を検出 → バージョン管理された商品ライブラリと照合 → 集計 → MQTT」というチェーンです。商品カタログに紐づくのはライブラリの中身だけで、それ以外はそのまま使えます。

レイヤー移植時に必要な作業
商品検出器と 2 種類の入力サイズそのまま再利用。対象物が包装商品と大きく異なる場合のみ再学習
識別モデルとその量子化レシピそのまま再利用
バージョン管理された商品ライブラリとロールバックそのまま再利用
登録 API、写真の品質チェック、アクセス権限そのまま再利用
MQTT メッセージとフレームごとのサマリ新しい集計ルールに合わせてサマリを調整
ライブラリの中身と登録用の写真新しいカタログ向けに収集

適用範囲:部品棚とキッティング作業台、返品の仕分け、資産の受け入れ、工具庫の管理。

適さない形態

  • 法的な根拠となる数量や価格。 見えているものを数えるだけで、計量法上の認証も、盗難の立証もできません。
  • 細かい印字でしか区別できない商品。 ラベル読み取りは未実装のため、ほぼ同一の包装は区別できません。
  • 同梱の学習済み重みの商用利用。 2 つのモデルはいずれも非商用のデータセット条項を引き継ぐため、再学習が必要です。

どう導入するか

現場の状況をお聞かせください。ハードウェアはこちらで選び、その後データ接続と手順に進みます。

構成を選ぶ

カメラが何を映すか、どの速さで結果が必要かをお聞かせください。ハードウェアはこちらで選びます。

ソリューションのセルフ相談・デプロイ

撮影シーン

カメラは何を映しますか?シーンによって、コンパイル時の入力サイズと 1 フレームあたりのクロップ数が決まります。

構成を選ぶ

カメラが何を映すか、どの速さで結果が必要かをお聞かせください。ハードウェアはこちらで選びます。

  • Rockchip NPU —— RK3588 / RK3576

    検出器は x86_64 ホストで変換した fp16 の `.rknn` として Rockchip NPU 上で動きます。RK3588 ではこの経路が CPU リファレンスと枠の 99.85% で一致し、56.7 ms p50 でした。INT8 版は 2.2 倍速く、一致率は 98.35% です。既定の埋め込みモデルには RKNN 変換がなく、Rockchip CPU 上の onnxruntime にフォールバックします(この経路の時間は未計測)。埋め込みを NPU 上の RKNN fp16 に差し替えた構成では、20 SKU の棚の再生でデバイス側の全経路を 1 回通しており、924 ms p50 / 1153 ms p95、704 クロップでの top-1 精度は fp32 CPU リファレンスと一致しました(両者とも 541/704)。RK3576 では同じ 704 クロップを検出器+埋め込みの RKNN fp16 で通し、top-1 76.28%(537/704)、CPU fp32 の 76.99%(542/704)に対して同一 SKU の一致率 99.29% でした。埋め込み単体は 1 クロップあたり 61.0 ms p50 です。RK3576 はコンポーネント単位の数値のみで、デバイス側の全経路やコンソールの実行は行っていません。

    硬件/物料名称数量型号/SKU说明
    reComputer RK3588-30(8 GB)1100071234-
  • reComputer R2000 Series(R2035-12、Hailo-8)—— 検出は NPU、埋め込みは CPU

    ここでも両段とも対象ハードウェア上で実行済みです。INT8 の HEF 検出器は 9.04 ms p50、枠の一致率 94.77%。動的量子化した INT8 の DINOv2-small はホストの 4 コア上で 1 クロップあたり 91.95 ms、検索精度は自身の fp32 比 0.65 ポイント以内です。埋め込みが CPU 上なのは必然で、Hailo への量子化は 2 回とも失敗しました。所要時間はクロップ数で見積もってください。5 点のかごで約 0.5 秒、160 枠の棚フレームで約 14 秒です。

    硬件/物料名称数量型号/SKU说明
    reComputer Industrial R2035-12(Hailo-8 オプション)1100020831-
  • reComputer J40 —— TensorRT、両段とも GPU

    3 つの中で最速で、reComputer J40 シリーズの 2 モデルで実測済みです。Orin NX 16GB(J4012):検出 5.18 ms p50、枠の一致率 99.91%、埋め込み 1 クロップあたり 4.23 ms、検索精度は 21 指標すべてで fp32 比 0.241 ポイント以内、2 956 フレームのレジ通過再生を 198 秒でフレーム落ちなく完走。Orin Nano 8GB(J3011):検出 5.88 ms p50、枠の一致率 99.27%、埋め込み 1 クロップあたり 5.06 ms、検索精度は fp32 比 0.21 ポイント以内、6 726 フレーム(2.27 ループ)の再生をフレーム落ちなしで完走し、84 件のイベントをすべて発行しました。Rockchip プリセットも同等の全経路での棚の再生を実施しています(該当カードを参照)。1280² の棚用アーティファクトは、どちらのモデルでも再生していません。

    硬件/物料名称数量型号/SKU说明
    reComputer Super J40121114110314-
    reComputer Super J30111114110312-
自分で比べる:各構成のスペック対照デプロイガイド · 90min →

パッケージ別ハードウェア一覧

構成役割機材数量
Rockchip NPU — RK3588 / RK3576Console HostConsole / On-Prem Host1
Recognition HostreComputer RK3588 シリーズ / reComputer RK3576 シリーズ(いずれか)1
CameraRTSP / USB Camera1
reComputer R2000 (Hailo-8) — Detector on the NPU, Embedder on the CPUConsole HostConsole / On-Prem Host1
Recognition HostreComputer Industrial R20 シリーズ1
CameraRTSP / USB Camera1
Jetson Orin — TensorRTConsole HostConsole / On-Prem Host1
Recognition HostreComputer J40 シリーズ(Jetson Orin NX) / reComputer J30 シリーズ(Jetson Orin Nano)(いずれか)1
CameraRTSP / USB Camera1

技術仕様・実装パスの比較

プリセット認識ホスト商品の検出商品の識別デバイス上で通した全経路
Rockchip NPU : RK3588 / RK3576reComputer RK3588NPU既定では Rockchip CPU棚の再生
reComputer R2000 Series(R2035-12、Hailo-8): 検出は NPU、埋め込みは CPUHailo-8 オプション付き reComputer R2000 Series(R2035-12)Hailo-8ホスト CPU含まれません
reComputer J40 : TensorRT、両段とも GPUreComputer J4012(Orin NX 16GB)または J3011(Orin Nano 8GB)GPUGPU両モデルでレジ通過の再生
  • どのプリセットでも、コンソールホストとカメラが別途必要です。コンソールの 2 つのイメージはそのホスト上でビルドします。ビルド済みイメージは公開していません。
  • 難易度は 上級、ガイドの目安は 1 プリセットあたり約 90 分 です。

よくある質問

商品特徴ベクトル(エンベディング)の登録のみで即座に追加でき、モデルの再学習は不要です。

  • Few-shot 特徴抽出:新商品の写真を数枚登録するだけでデータベースが更新され、数秒で認識対象に追加されます。
  • 運用の手軽さ:現場のスタッフが管理画面から商品マスタへ画像を追加するだけで運用を継続できます。
お探しの答えが見つかりませんか?
お問い合わせ
ハードウェアパートナーとしてうれしいです!
次へ