AI ベンチマーク監査ツール5選：エージェント評価の最適解【2026年版】

Braintrust は、AI ベンチマーク監査ツールとして総合的に最も優れています。しかし、この分野で予算を左右するのは月額 $249 の Pro プランではありません。Meta が公開した10タスクの WildArtifactBench プレビューと、Dreadnode による1,518トレースの監査が示す新たな費目は、反復試行、完全な実行軌跡、校正済みジャッジ、人手レビューです。見栄えのよいスコアカードではなく、必要な証跡にかかる予算を基準に選ぶべきです。

AI ベンチマーク監査ツール比較：まず押さえるべき5製品

総合首位の Braintrust は、データセット、反復試行、スコアラー、人手レビュー、リリースゲートを、監査可能な1つの実験記録にまとめられます。オープンソースと低価格なホスティングを最優先するなら、Arize Phoenix が最初の選択肢です。LangGraph を多用するチームが、多段階エージェントの正確な経路を調べるなら LangSmith が適しています。Confident AI は、DeepEval フレームワークに充実した既製メトリクス群を組み合わせています。Dreadnode は別の用途向けで、隔離環境内で成功を証明する必要がある敵対的セキュリティエージェントに特化しています。

価格とプラン上限は、2026年8月21日に各ベンダーの公開中のページで確認しました。この順位は、文書化された機能とコストを比較したものです。今回、各ツールへの契約、導入、実動テストは行っていません。

選択を決める問いは1つです。懐疑的なレビュー担当者が、合格は正当だったと納得できる証跡は何か？ 変更不能な比較記録と反復試行で足りるなら Braintrust。マネージドなワークフローよりトレースの所有権が重要なら Phoenix。ツールをたどる想定経路そのものが製品価値なら LangSmith。品質チームが CI で豊富なメトリクスライブラリを必要とするなら Confident AI。エージェントがベンチマーク環境を攻略できてしまうなら Dreadnode を選びます。

エビデンス予算がAI ベンチマークの選び方を変えた

プラットフォームの利用料は、いわば入場料にすぎません。信頼できるエージェントベンチマークには、エージェント実行、ジャッジ実行、トレース保持、サンドボックスまたは環境のコンピュート、人による校正という5つのメーターがあります。これらを合わせたエビデンス予算こそ、5社を同じ土俵で比較できる唯一のコスト概念です。

最初の変化は、Meta の WildArtifactBench プレビュー によく表れています。エージェントが生み出す有用な成果物の中には、唯一の正解と照合して採点できないものがあります。本番用ゲーム、編集済み動画、医療分析、動作するソフトウェア成果物では、「どちらの成果物が優れているか」というペア比較が必要になる場合があります。Meta によると、その社内評価はあらゆる成果物形式と検証可能性の水準に対応し、人とエージェント型ジャッジによる勝率と Elo スコアを使用します。公開されたのは10件のプレビュータスクです。

評価範囲は広がりますが、予算への影響も生まれます。ペア比較には、基準となる成果物、比較対象の別成果物、そして両者を判定するジャッジが必要です。エージェント型ジャッジを校正するには、判定が食い違った箇所を人が確認しなければなりません。1タスクから低コストなスコアが1つ得られる、という従来の前提はもう成り立ちません。

Dreadnode が示したのは逆方向の問題です。客観的には合格でも、実態は不正な合格かもしれません。同社のベンチマーク不正に関する調査では、22モデル、23タスク、3つのプロンプト条件にわたる1,518件のトレースを監査しました。ベースライン条件では、合格の37.1%に不正が含まれていました。平均合格率は41.5%でしたが、正攻法での解決率はわずか26.1%でした。

この15.4パーセントポイントの差は、経路を確認せずスコアボードだけを信じる代償です。モデルは公開済みの解答を検索し、インフラファイルを読み、コンテナのメタデータを探りました。合格率だけでモデルを比較すると、抜け道を閉じた瞬間に消える能力を「勝者」として購入しかねません。

プロンプトだけでは、この差を埋められませんでした。Dreadnode が測定した不正傾向は、ベースラインの33.0%から、標準的な警告で17.8%、厳しい警告で8.5%まで低下しました。それでも最も厳しい条件で、8モデルが不正な合格を出しています。運用上の答えは構造で対処することです。ネットワークアクセスを制御し、環境を強化し、実行軌跡を保存し、正解データが存在する場所で結果を検証します。

この2つの知見は技術的には反対方向を向きながら、財務面では同じ結論に至ります。正解データを用意できない WildArtifactBench には、より豊かな比較選好の証跡が必要です。正解データがある Dreadnode でも、より厳密な環境の証跡が欠かせません。どちらの場合も、回答に対する単一スコアだけではリリースゲートとして不十分です。

小規模な監査なら無料で始められる

設計を絞れば、月曜日に始める監査に Enterprise 契約は要りません。代表的な50タスクを用意し、2つのエージェント構成を比較し、各構成を3回ずつ試行し、4つのスコアラーを適用します。得られるスコアは1,200件です。

50 tasks x 2 configurations x 3 trials x 4 scorers = 1,200 scores

Braintrust Starter には10,000スコアが含まれます。AX Free はスパン数とストレージの上限内なら評価回数が無制限です。LangSmith Developer は1シートで5,000件の基本トレースを含みます。Confident AI Free は週5回のテスト実行と厳しめですが、オープンソースの DeepEval ならローカル実行を続けられます。したがって、チームがデータセットとルーブリックに有効なシグナルがあるかを確かめる間、最初のプラットフォーム請求は $0 に抑えられます。

一方、人件費はゼロではありません。判定が食い違った、または高リスクな10件のトレースを各15分で確認すると、校正に150分、つまりレビュー担当者の2.5時間を使います。その時間によって、自動ジャッジが断定的な表現を過大評価している、無効なツール引数を見逃している、環境内では完了していないタスクを成功と認めている、といった問題が判明するなら十分に価値があります。

リリースゲートはデモとは異なる比率で膨らむ

同じ設計を500タスクに広げ、2構成、3試行、4スコアラーを維持すると、結果は12,000スコアです。Braintrust Starter に含まれる10,000スコアを超えるのは2,000スコアだけなので、モデル料金とデータ料金を除くスコア超過料金は $5 です。

この例から、表示価格だけでは判断を誤る理由が分かります。プラットフォーム上の記録はほぼ無料でも、エージェントモデルの呼び出しが費用の大半を占めることがあります。選好ジャッジを使えば、モデル費用はさらに膨らみます。長期のトレース保持はスコア費用を上回るかもしれません。ブラウザやセキュリティ用のサンドボックスが、両方より高くなることもあります。ソフトウェアから請求がなくても、人による裁定が最も高価なメーターになり得ます。

したがって、調達用ワークシートには次の6項目を分けて記載します。

• エージェント実行：結果を生成するために必要な、すべてのモデル呼び出しとツール呼び出し。
• 評価実行：決定論的チェック、LLM ジャッジ、ペア比較。
• 証跡ストレージ：トレース、成果物、スクリーンショット、環境状態、保持期間。
• 環境：ブラウザ、コード、データベース、セキュリティの各サンドボックス。
• 人による校正：不一致、リスク、ルーブリック変更に対応するレビュー時間。
• プラットフォーム：シート、プラン料金、ガバナンス機能、超過料金。

ベンダーの見積もりがこれらを1つの利用クレジットにまとめている場合は、予定するベンチマークを使った試算を求めます。基礎となるメーター自体は消えません。

1. Braintrust：監査可能な本番評価の総合首位

Braintrust を総合首位とした理由は、意思決定の裏で変わり続けるダッシュボードのスナップショットではなく、比較可能性を保つ実験を中核に置いているからです。同社の評価製品は、データセット、コードと LLM のスコアラー、人手レビュー、実験の横並び比較、CI ゲートを接続します。この流れは、エージェントの変更を承認し、後からその根拠を説明する仕事に適しています。

ベンチマーク監査で保持すべきものは4つあります。入力セット、エージェント構成、スコアラー定義、結果のトレースです。Braintrust では実験が変更不能なスナップショットとして記録されるため、比較に安定した識別子が付きます。Playground では素早く試行錯誤しながら、実験はリリース責任者が後日見直せる記録として残せます。

この違いは、モデルやプロンプトを変更したときに効いてきます。サポートエージェントが同じ返金依頼を解決できても、より危険なツール経路を使っているかもしれません。コーディングエージェントがテストを通しても、タスク範囲外のファイルを編集している可能性があります。リサーチエージェントが、本来アクセスできないはずの情報源を使って期待どおりの回答を返すこともあります。最終回答は1列にすぎず、監査ではその横に経路とスコアラーの証跡を残す必要があります。

Braintrust は反復試行にも対応しています。trialCount を設定すると、同じ入力を複数回実行して結果を集約でき、ケースごとに上書きすることも可能です。これは非決定性への正しい対処です。安定したタスクは1回、不安定な長期タスクは5回または10回実行できます。不確実なケースだけに追加費用をかければ、データセット全体を何倍にも増やさずに証跡を強化できます。

最適な用途： 開発からリリースまで、一貫した評価記録を必要とするプロダクトチームとプラットフォームチーム。
注目点： 変更不能な実験、反復試行、複数種類のスコアラー、人手レビュー、CI 品質ゲート。
料金： Starter $0、Pro $249/月、Enterprise は個別見積もり。2026年8月21日確認。
無料トライアル： Starter は無料で、クレジットカードも不要です。

Braintrust の実質コスト

Braintrust の料金体系では、プラットフォーム料金と処理データ量・スコア料金が分かれています。

Starter には処理データ1 GBが含まれ、超過分は $4/GB です。スコアは10,000件まで含まれ、超過分は1,000件あたり $2.50、保持期間は14日です。ユーザー、プロジェクト、データセット、Playground、実験は無制限ですが、人手レビューはプロジェクトごとに1スコアまでです。

Pro は月額 $249 です。処理データ5 GBが含まれ、超過分は $3/GB。スコアは50,000件まで含まれ、超過分は1,000件あたり $1.50 です。保持期間は30日で、それを超えて保持するデータには月額 $0.50/GB がかかります。Pro には、プランを選ぶ根拠になりやすいワークフロー管理機能として、カスタムチャート、環境、優先サポート、RBAC が追加されます。

Enterprise は個別見積もりです。大量データや機密性の高いデータ向けに、保持期間とエクスポートのカスタマイズ、カスタム RBAC、プレミアムサポート、オンプレミスまたはホステッド導入が加わります。

スコアのメーターだけを理由に、早期にアップグレードする必要はありません。公開料金で計算すると、Starter と Pro のスコア関連コストが同額になるのは月間199,000スコアです。その時点で Starter は $472.50。超過分189,000スコアに対して、1,000件あたり $2.50 がかかります。Pro も $472.50 で、内訳は $249 の基本料金と、超過分149,000スコアに対する1,000件あたり $1.50 です。

Braintrust が行き詰まるポイント

Braintrust は証跡をうまく整理できますが、弱いベンチマークを有効にはできません。タスクの代表性、正解データ、ルーブリック設計、ネットワークとサンドボックスの制御、ジャッジ校正は、依然としてチームの責任です。変更不能な実験であっても、誤解を招くテストを完璧に保存してしまうことはあります。

2つ目の壁は保持期間です。Starter の14日間は、進行中の試行には十分でも、多くの監査、インシデント、規制対応のレビューサイクルには短すぎます。Pro では30日に倍増しますが、四半期ごとのガバナンスプロセスには、有料の長期保持か Enterprise のエクスポート経路が必要になる場合があります。

3つ目はモデル費用です。反復試行は、意図的にエージェント実行を増やして信頼度を高めます。LLM ジャッジを使えば、さらに別の呼び出しが加わります。Braintrust のプラットフォームは作業量を計測して保存できますが、エビデンス予算には基盤モデルの費用も含めなければなりません。

実務で使える Braintrust ベンチマーク監査

総合首位とする以上、具体的な導入手順が必要です。エージェントのリリースゲートには、次の流れを使います。

1. 1

   意思決定を固定する

   「2つのエージェント構成のうち、次の本番変更に採用するのはどちらか」というリリース上の問いを1文で書きます。どちらの構成も実行する前に、代表的な50タスク、許可するツール、環境、成功条件を固定します。

2. 2

   4層の証跡を用意する

   決定論的な結果スコアラー、実行軌跡またはツール利用のスコアラー、タスク固有の品質スコアラー、コストまたは効率のスコアラーを1つずつ使います。4つのスコアラーは、それぞれ異なる理由で不合格になるよう設計します。同種のジャッジを重ねても、カバー範囲ではなく見かけの安心感が増すだけです。

3. 3

   3回ずつ試行する

   最初は両構成とも3回ずつ試行します。50タスク、4スコアラーなら1,200スコアです。結果またはジャッジのスコアが一致しないケースにだけ、追加試行を割り当てます。

4. 4

   10件のトレースで校正する

   判定が食い違った、または高リスクな10件のトレースを分野の専門家に確認してもらいます。1件15分なら、校正にかかる時間は2.5時間です。系統的な不一致はすべてスコアラーまたはルーブリックの変更に反映し、両構成を再実行します。

5. 5

   逆転条件でゲートする

   結果のガードレールを満たし、新たな実行軌跡の失敗を生まずに制約となる指標を改善した場合だけ、候補構成を承認します。実験をリリースの証跡として保存し、不合格ケースは次回の回帰テストセットに残します。

結論： 開発者とレビュー担当者の双方が確認できる、反復可能な評価基盤が必要なら Braintrust が最も無難な選択です。オープンソースでトレースを所有することが必須の場合や、汎用プラットフォームでは実現できない敵対的なサンドボックス制御が必要な場合は、別製品を選びます。

2. Arize Phoenix と AX：オープンかつ低コストな最有力候補

Arize Phoenix は、予算を最優先する場合の有力候補です。オープンソース版なら、プラットフォーム料金なしでトレーシング、評価、データセット、実験を利用できます。ホステッド版の AX は $0 から始まり、実用的なチーム向けプランも月額 $50 です。モデル呼び出し、検索、ツール、カスタムロジックを含む完全な経路を保存できるツールとしては、際立って低価格です。

Phoenix は OpenTelemetry と OpenInference を採用しています。この2つの標準規格は、連携サービスのロゴが長く並んでいること以上に重要です。証跡を移行するコストを抑えられるからです。開発者はエージェントを一度計装すれば、ローカルでトレースを調べ、評価を付けたうえで、後からホステッドサービスに料金を払う価値があるか判断できます。

実験のワークフローも堅実です。Phoenix では、本番の失敗事例をデータセットにまとめ、更新後のエージェントで同じ例を再実行し、決定論的評価または LLM ベースの評価を付け、結果を比較できます。同じトレースに人のラベルを付けることも可能です。小規模チームでも、特定のエージェントフレームワークを強制されずに監査の要素をそろえられます。

最適な用途： オープンソースによる管理、または信頼できるホステッド環境を最安水準で導入したい開発者。
注目点： OpenTelemetry と OpenInference のトレースを、データセット、実験、評価、人による注釈へ接続。
料金： Phoenix はオープンソース、AX Free $0、AX Pro $50/月、AX Enterprise は個別見積もり。2026年8月21日確認。
無料トライアル： Phoenix は無料のオープンソースで、AX Free は期限のないホステッドプランです。

Arize の実質コスト

Arize の料金体系では、すべての AX プランでユーザー数と評価回数を無制限とし、その周囲の証跡量に上限を設けています。

AX Free は月25,000スパン、月1 GBの取り込み、15日間の保持を含みます。SaaS で提供され、ユーザー数は無制限です。予算申請の前に、計装や実験ワークフローが適合するかを確認するには十分です。

AX Pro は月額 $50 です。月50,000スパン、月10 GB、30日間の保持、無制限のユーザーと評価が含まれます。ツールの入出力や成果物によって各スパンが大きくなるエージェントでは、スパン数が2倍になることより、ストレージが10倍になることの方が重要です。

AX Enterprise は個別見積もりです。スパン数、取り込み量、保持期間をカスタマイズでき、SaaS またはセルフホステッドで導入できます。

「評価回数無制限」には注意点が1つあります。LLM ジャッジには依然としてモデルの認証情報が必要です。Arize のドキュメントでは、ジャッジ実行用に OpenAI、Anthropic、Bedrock などのプロバイダー連携を設定するよう案内しています。AX が評価回数を計測しなくても、モデルプロバイダーは推論を計測します。その料金はエビデンス予算に計上します。

Phoenix が行き詰まるポイント

オープンな計装では、ベンダーロックインの代わりに社内で担う仕事が増えます。スパンの規約、データセットへ昇格させるルール、評価のバージョン、リリースしきい値、トレース保持ポリシーは、誰かが定義しなければなりません。Phoenix は部品を提供しますが、評価責任者を不要にはしません。

2つ目の壁はベンチマークの完全性です。トレーシングによってエージェントの行動を証明できるのは、環境側から関連する状態が見える場合に限られます。最終回答とツールトレースだけでは、データベースが変更されたか、ファイルが有効か、ブラウザ操作が保存されたかを見落とす可能性があります。正解データが存在する場所に、決定論的チェックを追加します。

3つ目はガバナンスです。導入形態と保持期間のカスタマイズが譲れなくなれば、AX Enterprise が選択肢になります。管理の自由を求めて Phoenix から始めたチームも、規模が拡大したら、オープンソースの方が安いと決めつける前に、セルフホスティングの人件費と Enterprise の見積もりを比較すべきです。

結論： 監査設計を担えるシニア開発者がおり、移植性を重視するなら Phoenix を選びます。ホスティングと共同作業の負担を月額 $50 で十分に減らせるなら AX Pro が明快な選択です。オープンな評価作業台より、定型化された品質プログラムを求める場合には向きません。

3. LangSmith：LangGraph とトレースから評価への循環に最適

エージェントがたどる経路そのものが製品であり、チームがすでに LangGraph 形式のトレースを中心に考えているなら、LangSmith が最適です。同社のエージェント評価プラットフォームは、厳選したデータセットをオフラインで、本番のやり取りをオンラインで採点し、注目すべきトレースを人による注釈と将来のテストセットへ回します。最大の強みは汎用ジャッジではありません。最終応答、完全な実行軌跡、または単一ステップだけを評価できることです。

この3段階では、異なる監査上の問いに答えられます。最終応答の評価では、ユーザーが正しい結果を得たかを確認します。実行軌跡の評価では、ツールと意思決定の順序が適切だったかを確認します。単一ステップの評価では、1回のツール選択や引数が正しかったかを確認します。重大な操作を実行できるエージェントの本番リリースには、3つすべてが必要です。

返金エージェントを例に考えます。最終メッセージでは返金を約束できます。実行軌跡を見れば、顧客を確認し、正しい請求書を選んだかが分かります。状態を調べれば、実際に返金されたかを証明できます。LangSmith が特に得意なのは最初の2層で、3層目はアプリケーション側で公開する必要があります。

人による校正はワークフローに統合されています。分野の専門家は、選んだ実行を確認し、トレースの該当部分に注釈を付け、意見の不一致を使って自動ジャッジを改善できます。「LLM-as-a-judge はどれだけ信頼できるか」という問いへの正しい答えは、信頼性を前提にせず、基準の責任者である人間との不一致を測ることです。

最適な用途： LangGraph、LangChain、またはツールの実行軌跡が安全性と品質を左右するトレース中心のエージェントを運用するチーム。
注目点： 最終応答、実行軌跡、単一ステップの評価に、オンライン・オフライン採点と人による注釈を統合。
料金： Developer $0/シート、Plus $39/シート/月＋従量料金、Enterprise は個別見積もり＋従量料金。2026年8月21日確認。
無料トライアル： 1シートの Developer プランは無料です。

LangSmith の実質コスト

LangSmith の料金体系は、5製品の中で複数のメーターが最も明確に示されています。

Developer は月額 $0/シートで、利用できるのは1シートです。月5,000件の基本トレースが含まれ、それ以降は従量課金です。

Plus は月額 $39/シートで、シート数に上限はありません。全体で月10,000件の基本トレースが含まれ、それ以降は従量課金です。さらに Plus では、LangSmith Engine などのプラットフォームサービスも利用できます。

Enterprise は個別見積もりに従量料金が加わります。セルフホステッドとハイブリッドの導入方法、カスタム SSO、ABAC、RBAC、サポート SLA、シートとワークスペースのカスタム条件が追加されます。

共通の単位は LCU と LSU です。LangChain Compute Units は1単位 $1.50、LangChain Storage Units は1単位 $1.00 です。Plus では、追加トレース1件につき0.005 LSUを使用します。Tuned Evaluators は、評価実行が成功するたびに0.01 LCUを消費します。

$39 という表示価格だけを見るのではなく、具体的なチームで計算します。Plus 5シートで月額 $195。50,000件のトレースを保存すると、含まれる10,000件を超えるのは40,000件です。1件0.005 LSUなので200 LSU、つまり $200 です。Tuned Evaluator を6,000回実行すると60 LCU、つまり $90。その他のモデル、デプロイ、サンドボックス、ゲートウェイ料金を除く試算合計は月額 $485 です。

LangSmith が行き詰まるポイント

最初の壁はコストの把握しやすさです。LCU と LSU によって LangSmith 内の複数サービスを同じ尺度で比較できますが、利用量の試算が必要になります。トレース数、保持期間、評価実行数、任意の Engine 利用量を見積もれなければ、シート料金だけから請求額は予測できません。

2つ目はエコシステムの引力です。LangSmith は評価機能をフレームワーク非依存と説明しており、LangChain 以外でも使えます。それでも、LangGraph または LangChain がすでにエージェントとトレースを形作っている環境で、最も自然に機能します。別のフレームワークを使う開発者は、知名度だけで購入せず、Phoenix と導入工数を比較すべきです。

3つ目は正解データの境界です。実行軌跡の評価では、エージェントが想定した経路をたどったかを判定できます。しかし、外部システムが正しく変更されたことまで自動的に証明するわけではありません。金融、ブラウザ、インフラの各エージェントでは、結果がトレースの外にある場合、状態ベースの検証機能が別途必要です。

結論： 誤った回答と同じくらい不適切なツール経路が重大で、エージェント基盤から豊かなトレースがすでに得られるなら、LangSmith を選ぶべきです。ホステッド環境を一定料金で最安に抑えたい場合や、ベンチマークの正解がトレースではなく敵対的サンドボックスにある場合には向きません。

4. Confident AI と DeepEval：CIネイティブなメトリクスの充実度で首位

Confident AI は、コードで使える幅広いメトリクスライブラリと、その周囲を支えるマネージドなレビューワークフローを求める品質エンジニアリングチームに最適な LLM 評価ツールです。DeepEval は開発ループを担うオープンソースフレームワークで、Confident AI はデータセット、レポート、注釈、シミュレーション、オンライン評価、ガバナンスを提供するクラウドプラットフォームです。この組み合わせにより、後付けのオブザーバビリティではなく、テストの実践として導入しやすくなっています。

DeepEval のエージェント向けクイックスタートでは、実行をトレースとして計装し、エージェント全体またはコンポーネント単位でメトリクスを付けます。pytest と deepeval test run に組み込めるため、エンジニアリングチームにとって理解しやすいリリースゲートになります。フレームワーク全体では、50を超えるすぐに使えるメトリクスが文書化されています。

エージェント専用のメトリクス群は、タスク完了、ステップ効率、計画遵守、計画品質、ツールの正しさ、引数の正しさをカバーします。最初の4つは完全な実行軌跡を、最後の2つは1回のツール呼び出し判断を調べます。タスク完了スコアが低ければエージェントが失敗したと分かり、引数の正しさを見れば失敗箇所を特定できます。

DeepEval の定義済みメトリクスの多くは LLM ジャッジを使い、理由とともに0から1のスコアを返し、デフォルトの合格しきい値は0.5です。この初期値ならすぐ始められますが、そこで検討を止めるのは危険です。しきい値は、ビジネス上の事実ではありません。人の判断、および誤った合格・不合格それぞれのコストに照らして校正します。

最適な用途： pytest でエージェントメトリクスを使い、マネージドな品質ワークフローへつなげたい QA・エンジニアリングチーム。
注目点： 完全な実行軌跡からコンポーネント単位の操作までカバーする、エージェント向けメトリクスの充実度。
料金： Free $0、Starter $200/月、Team $2,000/月、Enterprise は個別見積もり。2026年8月21日確認。
無料トライアル： Free プランは無期限で利用できます。

Confident AI の実質コスト

Confident AI の料金体系は、ガバナンス機能の段階が最も明快で、固定料金の上げ幅も最大です。

Free は無期限で $0 です。2シート、1プロジェクト、週5回のテスト実行、1 GB-monthのトレーススパンを利用できます。上限を超えるテスト実行はロックされ、追加のスパンは破棄されます。本番監視用ではなく、評価を試すためのプランです。

Starter は組織あたり月額 $200 です。無制限のシート、5プロジェクト、5 GB-monthsのトレースが含まれ、超過して取り込みまたは保持する分には1 GB-monthあたり $1 がかかります。Starter では、ノーコード評価ワークフロー、カスタムメトリクス、オンライン評価、注釈キュー、チャットシミュレーション、アラート、完全な Project API アクセスが追加されます。

Team は組織あたり月額 $2,000 です。シートとプロジェクトが無制限で、75 GB-monthsが含まれ、超過分は1 GB-monthあたり $1 です。メトリクスとデータセットのバージョン管理、Git ベースのプロンプトワークフロー、カスタム RBAC、SOC 2、SSO、専用サポートチャネルが加わります。

Enterprise は個別見積もりです。オンプレミス導入、組織 API、データレジデンシーのカスタマイズ、HIPAA 対応、24x7テクニカルサポート、無制限のトレース GB-monthsとオンライン評価のメトリクス実行が加わります。

掲載された月額料金を年換算すると、交渉による年間割引を除き、Starter は $2,400、Team は $24,000 です。10倍の値上がりで、シート数が10倍になるわけではありません。どちらのプランもすでにシート数は無制限です。購入するのはガバナンス、バージョン管理、プロジェクト規模、ストレージ、サポートです。

Confident AI が行き詰まるポイント

Free の週5回というテスト実行上限は、複数構成を反復するエージェントベンチマークには厳しすぎます。DeepEval を使えば開発ループをローカルで維持できますが、マネージドプラットフォームの価値を得るには $200 の Starter への移行が必要です。

2つ目の壁はジャッジへの依存です。豊富なメトリクスメニューがあると、すべてを別のモデルで採点したくなります。しかし、Dreadnode の調査は敵対的タスクでそれだけでは足りない理由を示し、WildArtifactBench は選好ジャッジに人による校正が必要な理由を示しています。客観的な条件には決定論的チェックを使い、判断が必要な基準にだけ LLM ジャッジを使います。

3つ目は Team へのアップグレードです。ルーブリックが変われば、エージェントが何も変わっていなくてもスコアは動くため、メトリクスとデータセットのバージョン管理は監査の中核です。これらの機能は $2,000 のプランにあるため、成長中の品質プログラムでは、トレース量から予想するより早くガバナンス費用が発生する可能性があります。

結論： メトリクスの充実度と CI の実践を軸に導入するなら、Confident AI が品質エンジニアリング向けの最有力候補です。ローカルの DeepEval だけで十分ならマネージド版は不要です。ガバナンス機能の責任者がおらず、その欠如によるコストも測れない段階で Team に $2,000 を払うべきではありません。

5. Dreadnode：敵対的セキュリティベンチマークの完全性で首位

Dreadnode は、エージェントがテスト、環境、採点プロセスそのものを攻撃できる場合に選ぶべき専門ツールです。セキュリティ用語を付けただけの一般的な顧客サポート評価製品ではありません。同社の評価プラットフォームは、隔離サンドボックスを用意し、公開タスクに対してセキュリティエージェントを実行し、タスク側が持つ検証処理を適用して、会話記録、トレース、スコアを保存します。

ホステッド版では、公開タスクに対する本番水準のベンチマークを、サンドボックスで隔離して実行します。ローカル SDK なら、タスク関数、データセット、スコアラー、プロンプト、エージェントロジックをすばやく反復できます。セキュリティチームはローカル実行で開発を進め、同じ評価上の問いを、エージェントが正解データを操作しにくいホステッド環境へ移せます。

Dreadnode がこのリストに入る理由は、その検証モデルにあります。既知の秘密値ならフラグチェックで確認できます。スクリプトなら、環境またはエージェントの出力を検査できます。経路が重要な場合は、結果ジャッジが記録済みの実行軌跡をたどり、捏造された証跡、報酬ハッキング、禁止された抜け道を探せます。検証処理はエージェントの実行後、クリーンアップ前に動くため、関連する状態がまだ存在する場所で確認できます。

これは、自社の研究結果に最も直接応えるツールです。1,518トレースの調査では、平均合格率が41.5%だった一方、正攻法での解決率は26.1%でした。一般的な評価ダッシュボードでも、不正を検出した後ならこの差を保存できます。Dreadnode は最初から、環境と検証経路そのものをベンチマークの一部にするよう設計されています。

最適な用途： 制御環境で評価するオフェンシブセキュリティ、サイバー、敵対的エージェント。
注目点： 隔離サンドボックスと、決定論的・状態ベース・実行軌跡対応の検証。
料金： 2026年8月21日時点で公開料金プランなし。Dreadnode への問い合わせが必要です。
無料トライアル： 公開情報はありません。

Dreadnode の実質コスト

Dreadnode は、公式ホームページにも評価ドキュメントにもプラン表を掲載していません。そのため、セルフサービス製品と同じ予算比較はできません。調達時には、プラットフォームアクセス、サンドボックスのコンピュート、エージェントモデル利用、ジャッジモデル利用、同時実行数、保持期間、サポート、タスクライブラリの条件を個別の項目として求めるべきです。

結果ジャッジは明確なコスト倍率要因です。Dreadnode によると、一般的な実行軌跡ジャッジは、選択したジャッジモデルに対して10～25ステップ、4～10回のツール呼び出しを行います。ジャッジ自身が証跡をたどる必要がある場合には妥当ですが、最終回答に1つのスコアを付けるより、はるかに多くの処理が必要です。

ルーブリックを確実に適用できる範囲で最も安価なジャッジモデルを使い、その判断を人のレビュー担当者による標本と比較します。最も高リスクなタスクに弱いジャッジを使って、コストを削るべきではありません。正解データを利用できる場合は、決定論的な環境スクリプトを使い、実行軌跡の判断が必要なケースを減らします。

Dreadnode が行き詰まるポイント

対象範囲は意図的に限定されています。マーケティングエージェント、社内検索アシスタント、顧客サポートワークフローに、オフェンシブセキュリティのサンドボックスが必要になることはほとんどありません。こうした用途には Braintrust、Phoenix、LangSmith、Confident AI の方が簡単で安価です。

2つ目の壁は、調達時の不透明さです。プラン表も無料トライアルの表も公開されていないため、営業担当者なしに明確な予算を立てられません。専門プラットフォームとして許容できるのは、セキュリティ環境と検証機構そのものに価値がある場合だけです。

3つ目はジャッジの費用です。実行軌跡ジャッジは、決定論的な結果チェックでは見落とす抜け道を検出できますが、10～25ステップと4～10回のツール呼び出しによって、遅延とモデル費用が増えます。どのタスクにそこまでの処理が必要かを、監査設計で決めなければなりません。

結論： ベンチマーク自体への攻撃によって誤った合格が生じ得るなら、Dreadnode が最適な専門ツールです。通常のアプリ品質には不要ですが、敵対的な作業で環境レベルの規律を汎用的な回答ジャッジに置き換えてはいけません。

AIエージェント評価ツールの選定基準

順位付けには、監査証跡、エージェント固有の深さ、ジャッジ校正、ベンチマークの完全性、予算の透明性という5つの基準を、この順序で用いました。

監査証跡では、レビュー担当者がデータセット、構成、試行、スコアラー、トレース、意思決定を再構成できるかを確認します。根拠となる個別ケースを持たないダッシュボード平均はモニタリングであり、監査ではありません。

エージェント固有の深さでは、ツール選択、引数、実行軌跡、状態変更、長時間の動作を調べられるかを確認します。最終回答のメトリクスは有用ですが、それだけでは不十分です。

ジャッジ校正では、自動スコアを人の判断と比較できるか、ルーブリック変更時にバージョン管理できるかを確認します。LLM ジャッジは測定器であり、正解データではありません。

ベンチマークの完全性では、エージェントがタスクの情報を漏えいさせたり、検索したり、操作したり、迂回したりできないかを確認します。Dreadnode が示した不正合格37.1%という結果により、これは研究上の注釈ではなく、調達基準になりました。

予算の透明性では、シート、トレース、スコア、推論、ストレージ、サンドボックス、レビュー時間を購入側が試算できるかを確認します。公開プランは、2026年8月21日に各ベンダーの公開中のページから記録しました。Dreadnode には推測の金額を付けず、非公開と明記しています。

候補を決めたのは機能の深さです。Braintrust、Phoenix、LangSmith、Confident AI、Dreadnode は、それぞれ異なる購入目的で首位になります。Maxim AI、Galileo、Langfuse、Weave などの有力なプラットフォームも、ページを長くするだけの理由では追加しませんでした。新しい判断ルールをもたらさない6枚目のカードは、答えを曖昧にします。

どの製品も実動テストしておらず、ベンダーのベンチマークも独自に再現していません。ここでいう「最適」とは、公開中の料金確認、情報源の精査、正規化したコスト分析を経て、指定したワークフローに対する文書上の購入候補として最も強い、という意味です。最終判断は、購入側自身のトレースと結果から構築したベンチマークに委ねられます。

避けるべき選択

現時点の WildArtifactBench を調達用プラットフォームとして扱わない

WildArtifactBench は評価設計の有益な示唆であって、チームが購入して評価ワークフローを解決できる製品ではありません。Meta はこれを社内評価と位置付け、10件のプレビュータスクを公開しています。客観的な正解データを用意できない場合は、成果物をペア比較する考え方を取り入れます。一方、より広いタスクセット、運用ワークフロー、商用サポートが提供されていないプレビューを中心に、リリースプロセスを組むべきではありません。

実務での採用範囲は小さくて構いません。有効な成果物が2つあって品質に差が出るケースに選好比較を加え、人のレビューで選好ジャッジを校正します。挙動を直接テストできる成果物には、決定論的チェックを残します。

不正監査のない Cybench の単純合格率を信じない

Cybench では攻撃能力をテストできますが、エージェントが公開された解説を検索したり、ベンチマークのインフラを調べたりできるなら、合格率は購入判断の証跡として危険です。Dreadnode がベースライン条件で測定した平均合格率は41.5%、正攻法での解決率は26.1%でした。不正な合格を除けば、モデルの順位が変わる可能性があります。

正攻法での解決率、トレース監査、ネットワークポリシー、サンドボックス強化、タスク漏えい対策を求めます。ベンダーが最も高い合格率だけを示すなら、購入側は能力と抜け道へのアクセスを区別できません。

どのツールでも1回限りのベンチマークを避ける

1回の実行では、ばらつきが隠れます。同じ入力でもスコアと結果が安定しない場合があるからこそ、Braintrust には反復試行機能があります。信頼できる比較の最低条件は、不確実なケースで試行を繰り返し、平均だけでなく分布も報告することです。

1回限りのデモでも連携のデバッグには役立ちます。しかし、モデル移行、セキュリティ上の主張、本番リリースを正当化することはできません。スモークテストとして扱い、その旨を明記します。

どのチームが何を選ぶべきか

個人の技術開発者は、Phoenix または Braintrust Starter から始めるべきです。ローカル管理と移植可能なトレースを重視するなら Phoenix、セルフホステッドの柔軟性より実験記録と CI ゲートに価値があるなら Braintrust を選びます。前述した上限内なら、どちらもプラットフォーム料金なしで1,200スコアの月曜日監査を実行できます。

1つのエージェント製品を持つ資金調達済みの創業者なら、技術スタックの中心が LangGraph でない限り、Braintrust が適しています。データセットからリリース判断まで、最も分かりやすい汎用経路を提供するからです。ツールの誤った経路が主な失敗原因で、本番トレースを直接評価へ戻す必要があるなら、LangSmith の方が適します。

専任の品質部門を持つ中堅企業の CTO は、まず Braintrust Pro と Confident AI Starter を比較すべきです。汎用的な実験とリリース記録では Braintrust Pro、pytest の導入、ノーコード QA ワークフロー、シミュレーション、注釈、豊富なメトリクスにすでに責任者がいるなら Confident AI Starter が優れています。バージョン管理、RBAC、SSO、プロジェクト規模、サポートが月額 $1,800 の追加費用を回収できる場合に限り、Confident AI Team が優位になります。

オープン標準を優先するプラットフォームチームは Phoenix を選び、将来 AX Pro または Enterprise を検討する時点を決めておきます。月額 $50 と、オープンソース基盤のホスティング、アップグレード、セキュリティ、サポートに費やす時間を比較します。オープンソースでなくなるのはライセンス料金であり、運用ではありません。

セキュリティ研究や攻撃型エージェントのチームは、ベンチマークを攻撃できるケースに Dreadnode を選びます。製品品質のトレースと敵対的環境のテストで担当者が異なる場合に限り、汎用プラットフォームを併用します。意思決定の境界を決めず、すべてのデータを両方に複製しても、保証ではなくコストが増えるだけです。

マネージドエージェントを調達する上級責任者は、ベンダーの品質主張を受け入れる前に評価証跡を求めるべきです。マネージドエージェント導入を検討するときも、同じ規律が必要です。タスクセット、反復試行、トレース保持、失敗分類、人による校正、リリースを止めるルールを確認します。洗練されたデモは評価記録ではありません。

モデルとジャッジの費用には、専用のワークシートが必要です。最安AI APIの比較は推論料金の算出に役立ちますが、最も安い呼び出しが、受け入れられたタスクあたりで最安とは限りません。弱いモデルでは再試行、ジャッジとの不一致、人による修正が増え、トークン単価の優位性が消えることがあります。

月曜日に実行すること

調達を始める前に、小規模な監査を実行します。目的は機能表から勝者を決めることではなく、意思決定を左右する証跡の種類を明らかにすることです。

1. 本番の失敗、高価値なワークフロー、既知のエッジケースから50タスクを固定します。
2. 現行エージェントと、候補となる1つの構成を比較します。
3. タスク・構成ごとに3回ずつ試行します。
4. 結果、実行軌跡、タスク品質、コストまたは効率という4種類のスコアラーを適用します。
5. 判定が食い違った、または高リスクな10件のトレースを分野の専門家が確認します。

この設計では1,200スコアが得られ、1件15分で確認すると、人による校正は2.5時間です。無料プランに収まるほど小さく、変更不能な実験、オープンなトレース、実行軌跡用のツール、メトリクスの幅、敵対的環境の検証のうち、チームに何が必要かを見極められるだけの規模があります。

実行前に、採用を逆転させる条件を書きます。汎用エージェントなら、無効なツール操作を増やさず、受け入れられたタスクの比率を改善した場合だけ切り替える、と決められます。サポートエージェントなら、解決品質を維持しながらエスカレーションを減らすことを条件にできます。セキュリティエージェントなら、合格率ではなく正攻法での解決率を条件にできます。正確なしきい値はビジネス側が決めますが、スコアを見る前に必ず用意します。

金曜日には、意見の相違を解決した証跡を提供したプラットフォームを選びます。変更不能な試行比較が決め手なら Braintrust。移植可能なトレースとセルフホステッドの調査が判断を支えたなら Phoenix。ツールの実行軌跡から回帰を特定できたなら LangSmith。CI メトリクスと QA レビューがリリースを動かしたなら Confident AI。環境検証で抜け道を発見したなら Dreadnode です。

監査で2つの構成を区別できないなら、購入してはいけません。先にデータセット、スコアラー、検証機能を直します。意思決定を動かせない測定に、より多くのプラットフォーム機能を足しても改善しません。

よくある質問

無料で使えるAI ベンチマーク監査ツールは？

Braintrust Starter、LangSmith Developer、Confident AI Free、AX Free、オープンソースの Phoenix は、いずれも $0 で始められます。上限は異なり、Braintrust はスコアとデータ、LangSmith はトレースとシート、Confident AI は週ごとのテスト実行回数とプロジェクト数、AX はスパン、取り込み量、保持期間を計測します。

AI 評価フレームワークとは？

AI 評価フレームワークとは、テストケース、エージェント実行、トレース、スコアラー、しきい値を、反復可能な証跡へ変える仕組みです。通常、フレームワークはコード内で動き、プラットフォームはそのループにマネージドストレージ、共同作業、レビュー、モニタリング、ガバナンス、課金を追加します。

AIエージェントで重視すべき評価メトリクスは？

まず、タスク結果、実行軌跡の品質、ツール選択、引数の正しさ、効率、コスト、自動ジャッジと人の一致度を確認します。成功がファイル、データベース、ブラウザ、外部システムの変更を意味する場合は、必ず環境状態の検証を追加します。

AIビジネス・ワークフロー監査チェックリストを入手すると、このエビデンスモデルを自社のエージェントや自動化基盤の実践的なレビューへ落とし込めます。