低遅延AIエージェント向け推論ハードウェア比較【2026年版】

カスタムウェイトが必要でない限り、GPUをレンタルする前にGroqまたはCerebrasを検討してください。例として月間150 millionトークンのワークロード（GPT OSS 120B）を想定した場合、両者の請求額はそれぞれ$76.50と$100.50にとどまります。一方、常時稼働のB200を1基契約すると、エンジニアリング費用を除いても$5,102.70に達します。ワークロードの制御性と持続的な稼働率によって固定キャパシティが正当化される段階では、NVIDIA Blackwellが最も確実なハードウェアの標準選択肢となります。また、OpenAIのJalapeñoの検証結果は、調達基準がトークン毎秒ではなく、エージェントのエンドツーエンドの完了レイテンシでなければならない理由を明確に示しています。

一目でわかる最適な選択肢

低遅延な推論ハードウェアの最適な選定は、まず調達方法によって決まります。ホスト型の専用シリコンは、利用したいモデルがカタログに含まれている場合に最も優れています。レンタルGPUは、カスタムウェイト、広範なフレームワーク対応、またはサービングスタックの自社制御が必要な場合に適しています。クラウド独自のASICは、AWSやGoogleに対する既存のコミットメントがあり、ソフトウェア移植やクォータの調整コストを吸収できる場合に力を発揮します。

この順位付けは、研究室での理論上のピーク性能ではなく、実稼働におけるビジネス価値に基づいています。トークン毎秒の数値がどれほど驚異的であっても、自社の選択したモデルを実行できず、実トラフィックを処理できず、運用予算に収まらないチップでは、月曜日の朝にエージェントの処理速度が向上することはありません。

Jalapeñoが変えたもの：エージェントのループで増幅するレイテンシ

Jalapeñoの登場により、評価基準は単一チップの計算速度から「リクエスト全体の完了時間」へと変化しました。OpenAIは公開ベンチマークであるInferenceXを用い、同一のユーザー体験条件下で初のカスタム推論チップを測定しました。その結果、GPT OSS 120B、DeepSeek R1 670B、およびKimi K2.5 1Tにおいて1.7〜3.6倍低いエンドツーエンドのレイテンシを記録したと報告しています。この測定値は、孤立した演算速度ではなく、サービングリクエスト全体の所要時間を対象としています。

GPT OSS 120Bの場合、GB200の1.80秒に対してJalapeñoは1.03秒と報告されています。1回の呼び出しで0.77秒短縮されます。12ステップの連続したモデル呼び出しを行うエージェントを想定すると、ツールやネットワークの改善を行う前の段階で、すでに9.24秒の短縮につながります。

この差はDeepSeek R1ではさらに拡大し、5.99秒に対して1.65秒となります。同一の12ステップのループでは、差は52.08秒に達します。エージェントの知能自体が向上したわけではありませんが、依存関係にある各呼び出しの開始が早まることで、ユーザーの待機時間は1分近く短縮されます。

これを**直列レイテンシ乗数（serial latency multiplier）**と呼びます。エージェントは多くの場合、計画を立て、ツールを呼び出し、結果を検査し、計画を修正して再度呼び出すという挙動を取ります。ある段階が直前の段階の完了を待つ構造であるため、1回のリクエストにおけるわずかな遅延がタスク全体で何重にも蓄積されます。システム全体としての集計スループットが極めて優れていても、個々のユーザーにとって応答が遅く感じられるのはこのためです。

もちろんスループットも重要です。キューが発生する前に、システムが何体のエージェントを同時に処理できるかを左右するからです。OpenAIは、ピークスループット時の電力効率（work per watt）が1.5〜1.9倍高く、対話型ワークロードでのパフォーマンスが2.1〜4.1倍向上したとも報告しています。ここから得られる実用的な教訓は、「すべての企業がJalapeñoの提供を待つべき」ということではありません。調達のベンチマークにおいて、ユーザーへの応答性と並行処理能力をセットで評価しなければならないということです。

資金調達済みの創業チームであれば、採択基準は「50ユーザーのアクティブ時におけるp95完了時間20秒未満」となるかもしれません。中堅企業のCTOにとっては、「ラックのキロワットあたりのサポート解決件数」が基準になるでしょう。運用の責任者にとっては、「エージェントの完了前に離脱されたセッションの割合」かもしれません。FLOPsやトークン毎秒はそれらの結果を説明する要因にはなりますが、成果そのものではありません。

評価・選定の基準

今回のランキングは、エンドツーエンドのレイテンシ、モデルへの適合性、ワークロードの制御性、購入可能な最小経済単位、ソフトウェアの移行コスト、一般提供状況の6つの基準に基づいています。電力効率やピークスループットは、システムが個々のエージェントに対する応答時間目標を達成した後に初めて意味を持ちます。

価格、プラン、モデルカタログ、インスタンス形状、アクセス制限、およびベンダーのベンチマーク条件は、2026年8月27日時点の一次情報ページで検証済みです。本比較では、独自に本番トラフィックを流したり、インスタンスをレンタルしてベンチマークを再現したりはしていません。「最適」とは、現在の公開事実と正規化された算術計算に基づき、該当のワークロードに対して最も合理的な調達パスであることを意味します。

上位の業界比較記事が7社を取り上げていることに倣い、本稿でも7つのハードウェアパスを選出しました。ただし対象は意図的に異なっており、シリコンの種類と実際に購入可能な提供経路に焦点を当てています。汎用GPU、推論特化型プロセッサ、ハイパースケーラーのASIC、そして一般提供されていない1つの参照設計が含まれます。単なる形容詞でしか性能を語れないプラットフォームは除外しました。

また、このハードウェア層の上には、マネージドなリアルタイム推論プラットフォームが存在します。プロバイダーによっては、ルーティング、オートスケーリング、オブザーバビリティ、構造化出力、専用キャパシティを1つ以上のチップと組み合わせて提供しています。そうした運用レイヤーが必要な場合は、高速なアクセラレータに標準で付属していると思い込まず、意図的に選択して調達してください。

1. NVIDIA Blackwell via Lambda：最も汎用的な本番環境の標準ハードウェア

NVIDIA Blackwell via Lambdaは、モデルカタログを限定されることなくセルフサービスでB200のキャパシティを利用できるため、最もバランスの取れたハードウェアの標準選択肢です。カスタムウェイトを提供するモデル開発チーム、ランタイムの完全な制御を必要とする規制業界の企業、またはアクセラレータを常に稼働させ続けられる十分なトラフィックを持つプロダクトに最適です。課題となるのは固定キャパシティである点です。リクエストが来ていないアイドル時間中も課金が発生します。結論として、Blackwellは最初の手軽な実験用としてではなく、その優れた柔軟性によって首位に位置付けられます。

最適な用途: カスタムモデル、広範なフレームワーク互換性、自社管理下での本番サービング
特徴: 1基あたり180 GBのVRAMを搭載したB200 GPUを1〜8基構成でセルフサービス利用可能
価格: 1x構成で$6.99/GPU-hr、2xで$6.89、4xで$6.79、8xで$6.69
無料トライアル: 専用のB200トライアルは案内なし

Lambdaは単一のB200を1 GPU時間あたり$6.99、2基構成で各$6.89、4基構成で各$6.79、8基構成で各$6.69と価格設定しています。課金は分単位で行われ、ページ上では下りデータ転送（egress）無料が明記されています。ボリュームディスカウントは控えめであるため、重要なのはGPUの台数を増やすことではなく、GPUの利用費用を回収できるだけの継続的なワークロードを確保することです。

1基のB200を月間730時間常時稼働させた場合の費用は$5,102.70です。8基構成では$39,069.60となります。この金額には、エンジニアリングの人件費、インスタンス付属分を超えるストレージ費用、オブザーバビリティ、ロードバランシング、障害や突発的なスパイクに備えた予備キャパシティの費用は含まれていません。

NVIDIA自身の推論情報ページでは、TensorRT-LLMを使用したB200でGPT OSS 120Bが1 millionトークンあたり$0.02、GB300 NVL72ではユーザーあたり116トークン毎秒を達成しながら1 millionトークンあたり$0.123という、はるかに低い運用コストが報告されています。これらは最適化されたスタックによるベンチマーク結果であり、チームがレンタルGPUの請求書で受け取る金額とは異なります。レンタル費用がこの理論値に近づくかどうかは、自社の稼働率とソフトウェアスタックにかかっています。

ラック規模の構成であるGB300 NVL72では、それぞれ288 GBのHBM3eを搭載した72基のB300 GPUを130 TB/sのNVLinkファブリックで相互接続します。NVIDIAは、低遅延なエージェントワークロードにおいて、Hopperと比較してメガワットあたり最大50倍高いスループットと最大35倍低いトークンコストを実現すると報告しています。このアーキテクチャ設計は、アクセラレータ間の通信オーバーヘッドがチップ単位の性能優位性を打ち消してしまいがちな、大規模なMixture-of-Experts（MoE）モデルにおいて極めて重要です。

Blackwell導入に向けた1週間の検証手順

1. 1

   代表的な100件のトレースを固定する

   最長のプロンプト、最大規模のツール出力、マルチターンの状態管理、リトライ処理、最も完了に時間のかかった成功ジョブを含めます。比較対象とするすべての候補において、モデル、精度、出力制限、プロンプト、ツールスキーマを同一に保ちます。

2. 2

   1基のB200から開始する

   モデルが収まらない場合を除き、まずは1時間あたり$6.99の1x構成を使用します。インスタンスサイズを拡大するのは、測定されたメモリ制限や並行処理のボトルネックを解消するためであり、単なる見込みで行うべきではありません。

3. 3

   ループ全体を測定する

   TTFT（最初のトークンまでの時間）、トークン間レイテンシ、タスク完了レイテンシのp50およびp95、キュー待機時間、タスク成功率、リトライ回数、GPU稼働率、総コストを記録します。

4. 4

   想定される並行度でリプレイテストを実施する

   単一のリクエストが高速であっても実運用の証明にはなりません。p95レイテンシがユーザー目標の許容範囲を超えるまで同時トレース数を引き上げ、その時点のスループットと稼働率を記録します。

5. 5

   採否の判定基準を文書化する

   評価指標においてAPI型の候補を上回り、想定される稼働率が固定費と運用保守コストを相殺できる場合にのみBlackwellを本採用します。それ以外の場合はAPIを継続利用し、後日再検証を実施します。

2. Groq LPU via GroqCloud：対応オープンモデル向け最速クラスの低遅延API

Groq LPU via GroqCloudは、GPT OSSが業務要件を満たし、カスタムウェイトを必要としない場合に、最初の選択肢として最も優れた低遅延APIです。Groqは、マシンをレンタルすることなくAPI経由で、GPT OSS 120Bで約500 tokens/s、GPT OSS 20Bで約1,000 tokens/sの生成速度を公表しています。壁となるのはカタログの制約です。Enterprise専用モデルは営業への問い合わせが必要であり、プレビュー版モデルは予告なく終了する可能性があります。結論として、サポート対象モデルを利用する限り、GroqはGPUレンタルよりも先にベンチマーク検証すべき有力な選択肢です。

最適な用途: トラフィックが不規則またはスパイクしやすい対話型GPT OSSエージェント
特徴: GPT OSS 120Bで公称500 tokens/s、GPT OSS 20Bで公称1,000 tokens/sの出力速度
価格: GPT OSS 120Bは入力$0.15/M・出力$0.60/M、GPT OSS 20Bは入力$0.075/M・出力$0.30/M
無料トライアル: 無料枠あり

公開されているGroqのモデルカタログによると、本番提供されている両GPT OSSモデルともに131,072トークンのコンテキストウィンドウと最大65,536トークンの出力をサポートしています。Developerプランの制限は毎分250,000トークン、毎分1,000リクエストです。プロバイダー側のキューで待たされてしまっては単一レスポンスがいくら高速でも意味をなさないため、エージェントプロダクトにおいてこれらのレート制限は重要な意味を持ちます。

GroqのFreeプランは連携開発に適しています。従量課金のDeveloperプランではキャパシティが引き上げられ、$1、$10、$100、$500、$1,000という段階的な請求基準を経てから月次請求へ移行します。なお、現行カタログ上のLlama 3.1 8B、Llama 3.3 70B、MiniMax M2.7はEnterprise扱いとなっており、個別見積もり（Contact Sales）が必要です。

入力30 millionトークン、出力120 millionトークンのGPT OSS 120Bを想定した月間試算では、Groqの利用料は$76.50となります。これは、GPU運用のエンジニアリング工数を除いても、LambdaのB200を常時稼働させた場合より$5,026.20安価です。この比較が逆転するのは、ワークロードの制御性、モデルの自由度、プライバシー、または膨大なトークン消費によって固定マシンの調達が正当化される場合に限られます。

3. Cerebras Wafer-Scale Inference：圧倒的な生生成スピード

Cerebras wafer-scale inferenceは、長いテキスト生成が待機時間の最大のボトルネックであり、かつGPT OSS 120Bが品質基準を満たす場合に最適な選択肢です。Cerebrasは同モデルに対して約3,000 tokens/sという数値を公表しており、これはGroqの公称500 tokens/sの6倍に相当します（ただし、同一条件の統一テストではなく各社公表値の比較です）。トークン単価はわずかに高くなりますが、長文回答をはるかに短時間で取得できます。課題はモデルの選択肢とキャパシティ制御です。優先サービスクラスは限定プレビューのままであり、専用エンドポイントの利用にはエンタープライズ契約が必要です。

最適な用途: 長文出力が必要なリサーチ、コーディング、推論エージェント（対応モデル利用時）
特徴: GPT OSS 120Bで約3,000 tokens/sの公称速度
価格: GPT OSS 120Bは入力$0.35/M・出力$0.75/M、Gemma 4 31Bは入力$0.99/M・出力$1.49/M
無料トライアル: 支払い情報確認後に$5分のクレジット付与（30日間有効）

現在のCerebrasの価格ページには3つの商用プランが記載されています。Free Trialでは$5のクレジットが提供されます。Developerプランは$10のセルフサービス支払いで開始でき、Free Trialの10倍のレート制限が適用され、公開トークン単価で利用できます。Enterpriseプランでは、最高水準のレート制限、専用キューの優先権、カスタムウェイト、ファインチューニング、トレーニング支援、営業交渉による契約条件が追加されます。

Developerプランにおいて、GPT OSS 120Bは入力1 millionトークンあたり$0.35、出力1 millionトークンあたり$0.75です。同様に入力30 million・出力120 millionトークンを想定した月間費用は$100.50となります。Groqとの差額は$24であり、評価のポイントは「出力待機時間の短縮に対して1日あたり80セントを追加で支払う価値があるか」という点に集約されます。

DeveloperプランにおけるGPT OSS 120Bの公開制限値は、毎分1 millionトークンかつ毎分1,000リクエストです。Cerebrasのドキュメントにはpriority、default、auto、flexというリクエストクラスの記載がありますが、この機能はPrivate Preview扱いです。Priorityは専用エンドポイントに限定されています。契約に基づく確実なp95目標を求めるチームは、パブリックAPIの公称速度をSLAではなく性能の目安として捉えるべきです。

4. AWS Inferentia2：AWS環境下で最も低固定コストな選択肢

AWS Inferentia2は、すでにAWS上でシステムを運用しており、Neuron SDKの導入に対応できる企業にとって、固定費を最も抑えられるハードウェアパスです。最小のInf2インスタンスはオンデマンドで1時間あたり$0.76で、32 GBのアクセラレータメモリを備えたInferentia2チップを1基搭載しています。最大12チップ・384 GBまでスケールするため、小規模な専用サービスから分散環境での大規模モデル推論まで幅広く対応できます。課題はポータビリティです。CUDA向けに準備されたモデルが、そのままNeuron向けの本番サービスとして動作するわけではありません。

最適な用途: 安定したモデルをコスト重視の専用環境でサービングしたいAWSネイティブな開発チーム
特徴: オンデマンドで$0.76/hrから利用可能、最大12チップ・384 GBまで拡張可能
価格: オンデマンドで$0.76〜$12.98/hrの4サイズ展開、1年および3年のリザーブド料金あり
無料トライアル: 専用のInf2トライアルは案内なし

公開されているEC2 Inf2の価格ページには各サイズが明記されています。Inf2.xlargeはオンデマンドで$0.76、1年契約で$0.45、3年契約で$0.30です。Inf2.8xlargeはそれぞれ$1.97、$1.81、$0.79です。6チップ構成のInf2.24xlargeは$6.49、$3.89、$2.60となります。12チップ構成のInf2.48xlargeは$12.98、$7.79、$5.19です。

月間730時間で換算すると、最小インスタンスはオンデマンドで$554.80、3年契約では$219となります。最大インスタンスはオンデマンドで$9,475.40、3年契約では$3,788.70です。予約割引率は非常に魅力的ですが、適合しないコンパイル構成に3年間のコミットメントを結んでしまうとコスト削減にはなりません。

NeuronはPyTorchやTensorFlowと統合されており、AWSのドキュメントには動的入力シェイプやカスタムC++オペレータへの対応が示されています。大型構成ではチップ間が192 GB/sのNeuronLinkで接続され、CPUを経由せずにチップ間通信が行われます。これらの機能により移行の障壁は下がっていますが、事前検証においては実際のモデル、量子化、シーケンス長の分布、カスタムオペレータを正確にテストする必要があります。

5. Google TPU v6e：Googleネイティブ環境におけるTransformerサービングの最適解

Google TPU v6eは、すでにGoogle Cloudを活用しており、マルチチップ構成でのTransformerサービングを行うチームにとって最適な選択肢です。Trilliumは1チップあたり32 GBのHBMと1,638 GB/sのHBM帯域幅を備え、推論に最適化された8チップのフルホスト構成を提供します。チップ単位の公開時間単価は一見手頃に見えますが、実際のデプロイ構成を掛け合わせると相応の金額になります。課題となるのは、クォータの確保、TPU固有のソフトウェア要件、そしてノードがREADY状態にある間の常時課金です。

最適な用途: GoogleネイティブのTransformer構成およびTPUトポロジの扱いに慣れた開発チーム
特徴: 推論向けに最適化されたv6e-8フルホスト構成
価格: 対応USリージョンでオンデマンド$2.70、Flex-start $1.35、Calendar $1.89、1年契約$1.89、3年契約$1.22（1 chip-hrあたり）
無料トライアル: 専用のTPUトライアルは案内なし

Googleが公開しているCloud TPUの価格はチップ時間単位です。us-east1およびus-east5リージョンにおいて、Trilliumはオンデマンドで$2.70、DWS Flex-startで$1.35、DWS Calendar Modeで$1.89、1年コミットメントで$1.89、3年コミットメントで$1.22です。スポット価格は最短30日ごとに変動する可能性があります。

ドキュメントに記載されているv6e-8は、推論向けに最適化されたフルホストVMです。8チップ構成のため、オンデマンドでは1時間あたり$21.60、月間730時間で$15,768となります。3年契約を結んだ場合、1時間あたり$9.76、月額$7,124.80まで抑えられます。

ハードウェア仕様としては、1チップあたりBF16で918 TFLOPs、Int8で1,836 TOPsを誇り、800 GB/sの双方向チップ間帯域幅を備えています。これらのスペックはTransformerサービングにおいて高い信頼性を持ちますが、トポロジの設計がアプリケーション側に直結します。8チップ中7チップを持て余すようなワークロードでは、スケールメリットを得られないまま高額な推論ホスト費用を支払うことになります。

6. AMD Instinct MI355X via OCI：コミットメント規模での最有力オープンGPU代替

AMD Instinct MI355X via OCIは、ROCmの最適化工数を確保でき、8基のGPUベアメタル構成を正当化できる大規模デプロイにおいて、最も優れたオープンGPUの選択肢です。各GPUは288 GBのHBM3eと8 TB/sのメモリ帯域幅を備えており、大規模モデルをコンピュートの近くに保持できます。AMDが公表した推論テストでは、対話型の運用条件下において優れた費用対効果を示しています。現実の調達における壁は、パブリックのGPU時間単価がベンチマークの前提モデルと大きく乖離している点です。

最適な用途: ROCmのノウハウを持ち、膨大なメモリ容量を必要とする大規模なオープンGPU構成
特徴: GPUあたり288 GBのHBM3eと8 TB/sの帯域幅
価格: 8基のGPUを搭載したOCIベアメタル構成で1 GPU時間あたり$8.60
無料トライアル: 専用のMI355Xトライアルは案内なし

OCIのBM.GPU.MI355X.8シェイプは、8基のMI355Xアクセラレータ、2.3 TBのHBM3e、400 Gbpsのフロントエンドネットワーク、3,200 Gbpsのクラスタネットワークを統合しています。Oracleのグローバル価格表によると、MI355Xの単価は1 GPU時間あたり$8.60です。したがって8基構成では1時間あたり$68.80となり、月間730時間で$50,224に達します。

一方で、AMDは2026年5月のTCO分析において異なる経済性を提示しています。DeepSeek-R1においてユーザーあたり129 tokens/sの条件下で、MoRI、SGLang、マルチトークン予測を用いた24基構成のMI355Xシステムは、1 millionトークンあたり$0.173、GPUあたり2,378 tokens/sを達成しました。一方、DynamoとTensorRT-LLMを用いた28基構成のB200システムは、$0.178および3,128 tokens/s/GPUでした。

しかし、このベンチマークモデルはMI355Xのコストを1時間あたり$1.48、B200を$1.95と仮定しています。Oracleが公開しているMI355Xの定価は、この前提条件の$1.48に対して5.81倍です。パフォーマンスの測定結果自体は極めて有益ですが、提示されたトークン単価の試算値をそのままパブリッククラウドの予算計画に流用することはできず、実勢レートで再計算する必要があります。

ROCmへの習熟度も判断の分かれ目です。ROCmはオープンソースであり、OracleもCUDAアプリケーションの移植手順を提示しています。またAMDの良好な結果は、MoRI、SGLang、量子化通信、マルチトークン予測を高度にチューニングした組み合わせによって実現されています。このスタックにすでに精通しているチームであればMI355Xを活かせますが、CUDA環境を前提とする小規模なプラットフォームチームの場合、ハードウェアのコスト差額が移行や性能調整の工数で相殺されてしまうリスクがあります。

7. OpenAI Jalapeño：調達ではなく注目すべき参照ハードウェア

OpenAI Jalapeñoは、最も重要な新しい研究成果であると同時に、OpenAI外部の誰も購入できないため、調達の選択肢としては最下位となります。このチップは、3つの大規模な公開モデルにおいて、より低いエンドツーエンドのレイテンシと優れた電力効率を実証しました。OpenAIは2026年末までに自社のコンピュートインフラへ導入する計画です。結論として、この成果は自社の評価ベンチマークを改善するために活用すべきであり、2026年の調達予算枠を割り当てるべきではありません。

最適な用途: 将来のエージェント推論における評価基準の策定
特徴: 3つの公開モデルにおいて1.7〜3.6倍低いエンドツーエンドレイテンシを達成
価格: 外部向け価格の公表なし
無料トライアル: 一般アクセスの提供なし

OpenAIはGPT OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tを用いてテストを実施しました。これら全体を通じて、Jalapeñoはピークスループット時の電力効率（AI work per watt）において1.5〜1.9倍の向上を記録しました。パッケージ定格は700 Wですが、テスト対象のワークロードにおいて持続的な実測電力は550 W以下に維持されたとOpenAIは述べています。

このアーキテクチャは、生成中に使用されるKVキャッシュを含むモデルの状態を、各フェーズを担当する演算ユニットの極めて近くに保持します。OpenAIはネットワークをシステム不可分の一部として設計し、プリフィル、デコード、メモリムーブメント、ノード間通信を一体として処理しています。このフルスタックのアプローチこそが、ベンチマークの背後にある最も重要な知見です。

現時点でOpenAIは、外部向けの価格、クラウドインスタンス、APIにおけるハードウェア選択機能、顧客向けの調達経路などを公表していません。社内導入に向けて、現在も本番環境での検証とソフトウェアの成熟化を進めている段階です。ロードマップへの記載は、ハードウェアが一般利用可能であることを意味しません。

状況別の選び方

GPT OSSが品質基準を満たし、出力コストが重視され、最も手軽に高速な連携を実現したい場合はGroqを選んでください。長文の出力待機が最大のボトルネックであり、試算した月間ワークロードにおける$24の差額が問題にならない場合はCerebrasを選びます。GroqからCerebrasへの切り替え基準は、実測されたタスク完了時間の短縮価値が、わずかなトークンプレミアムを上回るかどうかです。

利用したいモデルの要件、カスタムウェイト、プライバシー境界、またはサービングの制御性の問題からホスト型の専用シリコンを採用できない場合は、NVIDIA Blackwellを選択します。APIからGPUへの移行基準は、持続的な需要と自社運用の価値が、1基のB200を常時稼働させるための月額$5,102.70およびその運用体制のコストを上回る段階に達したときです。

モデルがNeuronで正常にコンパイルでき、すでにAWSを中心にインフラを運用している場合はAWS Inferentia2を選びます。$0.76という低価格なエントリー料金は、汎用GPUを導入する前の専用サービスとして有力な選択肢となりますが、ポータビリティを戦略的要件としない場合に限られます。

TPUトポロジとGoogle Cloudの運用ノウハウがすでに自社スタックの標準となっている場合はGoogle TPU v6eを選択します。ただし、8チップの推論構成とREADY状態の常時課金があるため、検証目的での利用には不向きであり、固定トレースによって適合性が証明された後のコミットメントインフラとして検討すべきです。

GPUあたり288 GBのメモリ、ROCmのオープン性、大規模ネットワーキングが8基のベアメタル構成を正当化できる場合はAMD MI355Xを選びます。承認にあたっては、ベンチマーク上の$1.48という仮定値ではなく、公開されている$8.60のGPU時間単価または契約済みの見積書に基づくTCOモデルを必ず要求してください。

Jalapeñoは、一般ユーザーが購入または選択可能になるまで監視対象にとどめておきます。現時点でのその役割は、他のすべてのベンダーに対して「自社のエージェントが必要とする並行性と電力の制約下において、リクエスト全体がどれだけ速く完了するのか」という、より本質的な問いを投げかけるための基準となることです。

避けるべき選択肢

本番環境の依存基盤にGroqのPreviewモデルを採用すること

Groqは、Previewモデルが予告なく提供終了となる可能性があり、本番運用を意図したものではないと明記しています。プレビュー版は制御された検証には有用ですが、顧客向けサービスの基盤となる唯一のツール選択モデルやリカバリ用モデルにしてはなりません。

対話型サービスのレイテンシ保証にGoogle TPUのSpot容量を使用すること

Googleは、SpotまたはプリエンプティブルなTPU容量をバッチ処理や耐障害性のあるワークロード向けと位置付けています。p95の応答コミットメントを持つ対話型エージェントには、予測可能なウォーム状態のキャパシティが必要です。中断の可能性があるハードウェアは、オフラインの評価、インデックス作成、リプレイテストに充て、本番の直列ループには使わないでください。

2026年の調達計画にJalapeñoを組み込むこと

OpenAIは年内の自社内デプロイを計画しているのみであり、外部向けの価格やアクセス手段を一切公開していません。これを発注可能なハードウェアとして扱うと、単なるベンチマークが架空の予算計画になってしまいます。購入可能なシステムを評価するための「測定手法」として活用してください。

GPUレートを補正せずにAMDのトークン経済性を評価すること

AMDが公表した1 millionトークンあたり$0.173という数値は、1 GPU時間あたり$1.48というTCOの前提に基づいています。OracleのMI355Xの公開定価は$8.60です。性能評価として候補に残すことは妥当ですが、補正前のコスト数値をそのまま調達承認の根拠にしてはなりません。

トラフィックが予測できる前に専用ハードウェアを契約すること

専用アクセラレータは制御性とテールレイテンシを改善しますが、アイドル時にも課金が発生します。モデルが対応している間は従量課金のエンドポイントから始め、実トレースによって持続的なトラフィック、キューの混雑、あるいは制御上の必然性が証明された段階で専用環境へ移行してください。トークン単価が高く見えても、稼働率の低い高価なチップを専有するより、最も安価なAI APIを活用する方が総コストを低く抑えられることが多いためです。

来週月曜日に着手すべきアクション：キャパシティ契約前に1つのトレースセットを実行する

来週の月曜日に、代表的な100件のエージェント実行トレースを確定させてください。一般的なタスク、最長のプロンプト、最もサイズの大きい検索文書、ツールのエラー、リトライ処理、そして最も完了に時間のかかった成功セッションを含めます。モデル、プロンプト、ツールスキーマ、最大出力トークン数、合否判定基準は完全に固定します。

現在の運用システムと、絞り込んだ2つの候補ハードウェアでそのトレースを実行します。p50およびp95のタスク完了レイテンシ、TTFT、トークン間レイテンシ、キュー待機時間、タスク成功率、無効なツール引数の発生数、リトライ回数、入出力トークン数、稼働率、総支出額を記録します。モデルの最初の1バイトから最後のバイトまでではなく、ユーザーのリクエストから最終結果が受け入れられるまでのタスク全体を測定してください。

金曜日に、以下の3つのいずれかの判断を下します。候補の1つが品質基準をクリアし、設定したマージンを超えてレイテンシまたはコストの目標を達成した場合は移行します。長文出力のコーディングや高速なツール選定など、特定の領域でのみ特定シリコンが勝る場合はトラフィックを分割します。得られる改善幅が移行や運用のコストより小さい場合は、現在の構成を維持します。

最新のハードウェア結果が発表されたからといって、今週すぐに新たな契約を結ぶ必要はありません。今週必要なのは、より優れた受入テストを実施することです。

よくある質問

AI推論に最適なハードウェアは何ですか？

カスタムモデルを運用する場合、NVIDIA Blackwellが最も汎用性の高い本番環境の標準となります。利用可能なホスト型モデルで要件を満たせる場合は、従量課金によりアイドル時の無駄を排除できるGroqやCerebrasが初期選択肢として優れています。AWS Inferentia2、Google TPU v6e、AMD MI355Xは、自社のクラウド基盤やソフトウェアスタックがすでに適合している場合にのみ有力な選択肢となります。

AIエージェントのレイテンシを短縮するにはどうすればよいですか？

キュー待機、プリフィル、デコード、ネットワーク通信、ツール実行、リトライ、オーケストレーションなど、直列ループの全体を測定してください。最も遅延が発生している反復ステージから優先的に改善します。ハードウェアの高速化がユーザー体験の改善につながるのは、モデルサービング自体がボトルネックになっている場合に限られます。

2026年にローカルLLMを実行する最適なハードウェアは何ですか？

ローカルハードウェアの選定は、主にプライバシー、オフラインアクセス、固定キャパシティの観点から決定されます。使用する正確なモデル、量子化、コンテキスト長、並行度に合わせて選定し、エージェントループ全体の完了時間を測定してください。本記事のような本番サービングの評価においては、ワークステーションの単体ベンチマークをマルチユーザー環境のサービング評価の代用とすることはできません。

ローカルLLMに24GBのVRAMは十分ですか？

小型モデルや量子化モデルであれば十分な場合がありますが、モデルの重み（ウェイト）はメモリ消費の一部にすぎません。KVキャッシュ、コンテキスト長、同時リクエスト数、ランタイムのオーバーヘッド、出力設定によって、メモリ不足や速度低下を起こさずに収まるかどうかが決まります。

ハードウェアを取り巻くサービング層、ゲートウェイ、ワークフロー設計を比較するには、ビジネスオーナー向けAIツールマップをご覧ください。