ビルド済み Docker イメージで NVIDIA Jetson に GPT OSS 20B を SSH ワンクリックデプロイします。
クラウドに接続せずに大規模言語モデルのバックエンドが必要で、会話をローカルネットワークの外に出せない現場向けです。
適さないケース：長いコンテキストや多人数の同時利用。既定のコンテキストは 1024 トークンで、1 リクエストは 1000 トークン以内に収めてください。
Jetson ホスト 1 台で完結します。モデルと推論サーバーは 1 つの Docker コンテナに収まり、LAN 上に OpenAI 互換の API を公開します。アプリやゲートウェイはそこを呼び出します。
20B モデルは GPU メモリを約 12〜15GB 必要とするため、ホストは 16GB モジュールを搭載している必要があります。
| 項目 | 詳細 |
|---|---|
| ホスト | reComputer J40 Series（J4012、Orin NX 16GB） |
| 前提条件 | Docker と NVIDIA コンテナランタイムがインストール済み、SSH で到達可能 |
| GPU メモリ | 約 12〜15GB。コンテナのメモリ上限は 12GB |
コンテナは llama.cpp 推論サーバーを動かし、GPT OSS 20B を 4 bit に量子化して実行します。
LAN 上のアプリケーションはホストに HTTP で直接アクセスでき、ブラウザからチャットページを開くこともできます。API は OpenAI 形式のため、既存の SDK はベース URL にデバイスの IP を設定するだけで使えます。データインターフェースは下記の「何が得られるか」をご覧ください。
本デザインが reComputer J40 Series（J4012、Orin NX 16GB）で提供する内容と、その制約は次のとおりです。
| できること | 制約 |
|---|---|
| 200 億パラメータのモデルがデバイス上で応答し、クラウドを使わない | 既定のコンテキストは 1024 トークン。リクエストは 1000 トークン以内に収めます |
| OpenAI 互換 API で既存の SDK やゲートウェイをそのまま利用 | 導入後の初回リクエストはウォームアップに 2〜5 分かかります |
| コンテナがデバイスの起動に合わせて開始 | Orin NX 16GB モジュールが必要で、8GB モジュールでは動きません |
GPU レイヤー数とコンテキスト長は導入時の設定項目です。増やすほど GPU メモリを消費します。
導入後は、これがインターフェースです。
| インターフェース | 出力 | 備考 |
|---|---|---|
| HTTP 8080 chat completions | OpenAI 形式のリクエストと応答 | 既存の OpenAI SDK はベース URL の変更だけで済みます |
| HTTP 8080 モデル一覧 | モデルが準備できているか | ウォームアップ中は 503 を返します |
| HTTP 8080 Web ページ | ブラウザ上のチャット画面 | 動作確認向け |
API は LAN 上で提供され、認証機構は内蔵していません。他のネットワークに公開する前に、アクセス制御付きのリバースプロキシを前段に置いてください。
構成と製品リストを確認し、デプロイガイドの手順に進みます。
現場条件を選択して推奨パッケージと手順書を生成。AI による選定支援や一括導入も利用できます。
GPT OSS 20B 推論サービスを Jetson へワンクリックでデプロイ。
2 ステップ · 約 10min
Orin NX 16GB モジュールを搭載した reComputer J4012 等の 16GB 機種が必須です。
初回デプロイ完了後は完全オフラインで動作し、データが外部へ送信されることはありません。
初回ウォームアップ（2〜5 分）完了後、実用的な対話トークン生成速度を発揮します。
OpenAI 互換の HTTP REST API（ポート 8080）経由で即座に組み込み可能です。
http://<デバイスIP>:8080/v1 に設定するだけで接続可能デプロイ設定パラメータからコンテキスト長と GPU オフロード層数を調整可能です。
llama.cpp バックエンドを採用しているため、任意の GGUF 形式モデルへ差し替え可能です。
単一インスタンス構成のため、個人開発や少人数チームでの利用に最適です。
GPT OSS 20B 重みの利用規約および llama.cpp のライセンス条項を確認してください。