ビルド済み Docker イメージで NVIDIA Jetson に GPT OSS 20B を SSH ワンクリックデプロイします。
クラウドに接続せずに大規模言語モデルのバックエンドが必要で、会話をローカルネットワークの外に出せない現場向けです。
適さないケース：長いコンテキストや多人数の同時利用。既定のコンテキストは 1024 トークンで、1 リクエストは 1000 トークン以内に収めてください。
Jetson ホスト 1 台で完結します。モデルと推論サーバーは 1 つの Docker コンテナに収まり、LAN 上に OpenAI 互換の API を公開します。アプリやゲートウェイはそこを呼び出します。
20B モデルは GPU メモリを約 12〜15GB 必要とするため、ホストは 16GB モジュールを搭載している必要があります。
| 項目 | 詳細 |
|---|---|
| ホスト | reComputer J40 Series（J4012、Orin NX 16GB） |
| 前提条件 | Docker と NVIDIA コンテナランタイムがインストール済み、SSH で到達可能 |
| GPU メモリ | 約 12〜15GB。コンテナのメモリ上限は 12GB |
コンテナは llama.cpp 推論サーバーを動かし、GPT OSS 20B を 4 bit に量子化して実行します。
LAN 上のアプリケーションはホストに HTTP で直接アクセスでき、ブラウザからチャットページを開くこともできます。API は OpenAI 形式のため、既存の SDK はベース URL にデバイスの IP を設定するだけで使えます。データインターフェースは下記の「何が得られるか」をご覧ください。
本デザインが reComputer J40 Series（J4012、Orin NX 16GB）で提供する内容と、その制約は次のとおりです。
| できること | 制約 |
|---|---|
| 200 億パラメータのモデルがデバイス上で応答し、クラウドを使わない | 既定のコンテキストは 1024 トークン。リクエストは 1000 トークン以内に収めます |
| OpenAI 互換 API で既存の SDK やゲートウェイをそのまま利用 | 導入後の初回リクエストはウォームアップに 2〜5 分かかります |
| コンテナがデバイスの起動に合わせて開始 | Orin NX 16GB モジュールが必要で、8GB モジュールでは動きません |
GPU レイヤー数とコンテキスト長は導入時の設定項目です。増やすほど GPU メモリを消費します。
導入後は、これがインターフェースです。
| インターフェース | 出力 | 備考 |
|---|---|---|
| HTTP 8080 chat completions | OpenAI 形式のリクエストと応答 | 既存の OpenAI SDK はベース URL の変更だけで済みます |
| HTTP 8080 モデル一覧 | モデルが準備できているか | ウォームアップ中は 503 を返します |
| HTTP 8080 Web ページ | ブラウザ上のチャット画面 | 動作確認向け |
API は LAN 上で提供され、認証機構は内蔵していません。他のネットワークに公開する前に、アクセス制御付きのリバースプロキシを前段に置いてください。
構成と製品リストを確認し、デプロイガイドの手順に進みます。
GPT OSS 20B 推論サービスを Jetson へワンクリックでデプロイ。
2 ステップ · 約 10min
reComputer J40 シリーズのうち、Orin NX 16GB モジュールを搭載したモデル（J4012 など）が必要です。20B モデルは約 12〜15GB の GPU メモリを必要とするため、8GB モジュールには収まりません。本機デプロイではさらに 20GB 以上のディスク空き容量を確保してください。
デプロイ完了後はオフラインで動作します。初回デプロイ時のみイメージ取得のためネットワーク接続が必要です。推論はすべて Jetson 上で完結し、対話内容はあなたのアプリケーションとデバイスの間だけを流れ、クラウドを経由しません。
デプロイ後の最初のリクエストではウォームアップに 2〜5 分かかり、その間モデル一覧 API は 503 を返します。ウォームアップ完了後の速度はプロンプト長と出力長に依存するため、実際に使う典型的なリクエストでデバイス上で計測することをお勧めします。
インターフェースは OpenAI 互換フォーマットで、アドレスはデバイス IP の 8080 番ポートです。既存の OpenAI SDK や LangChain などのフレームワークはアドレスを差し替えるだけで使えます。OpenClaw ゲートウェイに接続して複数のチャットプラットフォームで使うこともできます。
調整できます。コンテキスト長と GPU レイヤー数はどちらもデプロイパラメータにあり、既定値はそれぞれ 1024 と 20 です。起動時にメモリが不足する場合は、GPU レイヤー数を 16、コンテキスト長を 512 に下げて再デプロイしてください。
推論サービスは llama.cpp で、GGUF 形式のモデルに対応しています。モデルを差し替えるにはコンテナ内のモデルファイルを置き換えて起動パラメータを調整する必要があり、GPU メモリの使用量はモデルサイズに応じて変わります。
これは単一モデル・単一サービスのデプロイで、個人または小規模チームでの試用に向いています。多人数による高い同時実行が必要な場合は GPU メモリと待ち時間を評価し、必要に応じてより大きな GPU メモリを持つホストへの変更や複数台での分散を検討してください。
GPT OSS 20B の重みは OpenAI が公開しており、その許諾条件に従って使用します。llama.cpp は独自のオープンソースライセンスを保持しています。クローズドソースで商用化する前に、使用する重みと推論フレームワークのライセンスが自社製品の要件を満たしているか確認してください。