RLHF向けデータとAI評価で選ぶMercorの競合6社【2026年】

RLHF向けのデータや評価を念頭にMercorの競合を比較するなら、幅広い学習データの制作・管理を任せたい場合の第一候補はScale AIです。自社で業務を管理し、専門家に加わってもらいたい場合はToptalが適しています。ここで紹介する6つの選択肢は、データセットの制作委託、専門家による評価、人材の業務委託と、購入するものが異なります。企業を比べる前に、必要な成果物を決めましょう。

Mercorは、専門家が制作する学習データと強化学習環境を提供しています。強化学習環境とは、エージェントがタスクを練習し、採点されたフィードバックを受ける、業務を模した環境です。企業向けには、チームに加わる専門家、実運用で使う評価基準、運用を任せられるベンチマークも提供しています。まずは自社でどこまで業務を担うかを決める必要があります。

各社の公開中の製品ページで、2026年11月9日に確認しました。 本稿は公開されているサービスと契約・提供形態の比較であり、実際に利用して品質を検証したものではありません。以下の推奨は用途への適合性に関する判断です。どの会社のデータが自社モデルを改善するかは、試験導入で確かめる必要があります。

Mercorの競合を一覧で比較：RLHFや評価に何を買うか

制作・管理まで任せるデータセットと、紹介された業務委託の専門家は、別の商品です。 表の提供形態は本稿の比較に関係するサービスを示しており、各社の全サービスを網羅してはいません。「非公開」は、確認した購入者向けページに最低料金の数値がないという意味です。業務範囲を定めて見積もりを依頼してください。

非公開の料金を無料と解釈してはいけません。また、Toptalのサブスクリプション料金とデータ制作全体の見積もりも比較できません。前者で購入するのはプラットフォームへのアクセスであり、完成したデータセットではないからです。

Mercorのどの機能を置き換えたいのか

Mercorの企業向け評価ページには、比較に役立つ区別があります。専門家の人員配置では、Mercorが人材の発掘・審査・配置を行い、仕事は購入者が指揮します。タスク単位の納品では、検証済みの評価をMercorが納品します。実運用向けのルーブリックで稼働中のエージェントを採点し、APEXベンチマークではシミュレーション環境でテストします。

この違いによって候補は変わります。評価プログラムの運用委託先を切り替えるモデル開発チームには、指示書、レビュー担当者、意見の相違の解決、受け入れ可能な成果物まで責任を持つ相手が必要です。一方、テストの実行・採点ソフトウェアである評価ハーネスを構築したいCTOに必要なのは、適切なスキルを持つエンジニアです。

人材だけを確保するなら、自社の誰かが仕事を設計する必要があります。完成したデータセットを買う場合も、受け入れ基準は誰かが定義しなければなりません。どちらを選んでも、求める成果を明確にする責任は残ります。

用途別に見る6つの選択肢

1. Scale AI：データ制作・管理を広く任せる場合の第一候補

Scale AIは、学習データとAIシステムの提供企業です。Generative AI Data Engineでは、専門家の作業とデータ制作基盤を組み合わせています。幅広い業務を委託する研究機関にとって第一候補とする理由は、公開サービスでデータセット制作、品質の可視化、モデル評価を結び付けているからです。制作全体に責任を持つパートナーが必要な場合、この広さは役立ちます。ただし、自社分野でScaleが専門特化の企業より優れていることを示すものではありません。

Generative AI Data Engineの概要には、審査済みの分野別専門家、言語の専門家、プログラマーに加え、収集・キュレーションの状況をリアルタイムで把握するOps Center、対象を絞ったレッドチーミングを含むモデル評価が記載されています。レッドチーミングとは、通常の依頼にうまく応答できるかだけを確かめるのではなく、意図的にモデルの失敗を探ることです。ページには指示への追従や、人間の選好に基づく順位付けのデモもあります。

サポート用エージェントを改善するチームなら、この組み合わせを一貫した試験導入にできます。現実的な顧客の問い合わせ、専門家が書く模範回答、複数のモデル回答の順位付けを依頼する形です。同じプログラムでそれらすべてを扱えるか、誰がレビューするか、不合格の作業をどう修正に戻すかを確認してください。関連製品がそろっていることは検討の出発点であり、業務仕様書の代わりにはなりません。

専門家の審査： Scaleは参加者を審査・厳選していると説明していますが、確認した製品ページには選考手順の全体像がありません。担当者に適用する分野別テスト、資格確認、採点基準のすり合わせ手順を求めてください。すり合わせとは、制作前にレビュアーが同じ例を採点し、判断の違いを解消する作業です。

依頼の進め方： 購入者はデモと業務範囲の相談から進みます。代表的なタスクを使い、合格した作業、不合格の作業、不合格の理由を品質管理画面で見せてもらいましょう。自社のレビュアーが判断をやり直す必要があるなら、総生産件数が多くても十分ではありません。

適した用途： 複数の学習・評価ニーズにわたるプログラムの制作・管理を委託する研究機関。
特徴： 専門家によるデータ制作と、運用上の品質管理画面の組み合わせ。
料金： 2026年11月9日に確認したデータ関連ページには、最低料金の数値はありません。業務範囲を定めて見積もりを依頼してください。
無料トライアル： 同ページに無料トライアルの記載はありません。

結論： 幅広い制作・管理の委託はScaleから検討し、自社タスクで実力を確かめてください。目先の課題が、自社で指揮できるエンジニアの確保なら、この形態は適していません。

Scaleとの初回相談で決めること

1. 1

   代表的な失敗例を持ち込む

   モデルがうまく処理できないタスクを選び、入力、実際の回答、許容できる出力を提示します。通常のケースと判断が分かれるケースを含め、実行能力と判断力の両方が伝わるようにします。

2. 2

   受け入れる成果物の単位を定義する

   デモンストレーション、順位付きの回答ペア、レビュー済みタスク、評価スイート一式のどれを買うかを指定します。採点基準、必要な来歴情報、不合格にできる理由を書き出してください。

3. 3

   担当者とレビュー計画を確認する

   専門家に必要な資格、タスクに即した選考、レビュアーの独立性、意見の相違を解決する手順を求めます。拡大を相談する前に、やり直しの費用を誰が負担するかを決めます。

4. 4

   合格した成果物を比較する

   範囲を限定して試験導入し、合格した例を自社の採点基準で確認します。レビューを通過し、学習・評価システムへの引き渡しにも問題がないことを確かめてから拡大します。

2. Surge AI：繊細な人間の判断が必要な場合の候補

Surge AIは、モデルの学習・評価に使うデータとフィードバックを提供しています。製品群の中心は、デモンストレーション、選好、専門家の判断です。本比較で特に適しているのは、「良い回答とは何か」を判断することが課題の研究機関です。洗練された回答でも、誤りがあったり、文化的に不適切だったり、役に立たなかったりすることがあります。その違いを見分けるには、明確な基準と、それを適用できる人が必要です。

現在の製品カタログには、望ましい振る舞いの実例である教師ありファインチューニング用データ、モデル改善に使う選好信号である人間のフィードバックによる強化学習、人間による評価、ルーブリックと検証器、強化学習環境が含まれています。マルチモーダルの業務や既製データセットも掲載されています。検証器とは、エージェントがタスクを正しく完了したかを判定する仕組みです。

多言語アシスタントのデータを依頼するなら、その業務での文法的な流暢さと、専門分野での正しさの違いを説明してもらいましょう。自然に聞こえる回答でも、専門業務の慣行を誤解している場合があります。役立つ成果物は、その失敗の理由を説明する注釈付きの判断と、別のレビュアーも一貫して適用できるルールです。

専門家の審査： 専門家人材のページには、上級の法務経験を含む職歴や、役割に応じた資格が記載されています。これはSurgeが求める人材の説明であり、全員に共通する合格試験の公開ではありません。資格をどう確認し、実際の案件への適性をどう判断するのかを質問してください。優れた経歴だけでは、信頼できるラベリングを行えるとは限りません。

依頼の進め方： データまたは評価の成果物を明確にし、個別制作と既製データセットを区別します。既存データなら、想定用途、対象範囲、ライセンス条件、確認可能なサンプルを求めてください。個別制作なら、誰が基準を作成し、誰が適用し、判断が割れたラベルを誰が裁定するかを確認します。同じ供給元が管理していても、それぞれ別の責任です。

適した用途： 人間の繊細な判断が有用性を左右する選好データや評価。
特徴： デモンストレーション、フィードバック、ルーブリック、人間による評価をつなぐ製品群。
料金： 2026年11月9日に確認した製品ページに最低料金の数値はありません。範囲と条件を直接確認してください。
無料トライアル： 確認したページに無料トライアルの記載はありません。

結論： 難所が判断の質にあるなら、Surgeを試験導入の候補に入れてください。高品質をうたう印象だけで、品質の高さを認めるべきではありません。

3. Turing：データセットか専門家かを選びたい場合に適する

Turingは、最先端モデルの研究機関向けにデータセット、強化学習環境、分野別専門家の活用を提供しています。完成したデータを発注するか、既存プログラムに専門家を迎えるかを決めかねている場合に、特に役立つ選択肢です。現在はリモートの開発者採用にとどまらず、ソフトウェアエンジニアリング、専門的な知識労働、STEMを対象としています。

Frontier AIのサービスには、カスタム・既製データセット、環境、専門家が明記されています。ソフトウェアエージェントのチームなら、必要なタスクがすでにあればデータセットを購入し、自社環境と異なるなら新規制作を依頼し、タスク用ツールとレビュー体制がすでにあれば専門家を採用する、という選び方ができます。

人材プールの規模より、この選択の方が重要です。社内コードベースを変更するエージェントでは、一般的なコーディング問題だけでは難所を捉えられないかもしれません。リポジトリを調べ、制約を理解し、保守担当者が受け入れる変更を作ることが難しいからです。どの会社の標準データセットもすでに対応していると決め付けず、サンプルの依頼内容でその違いを示しましょう。

専門家の審査： TuringのFrontier専門家プログラム発表には、本人確認、経歴確認、職歴確認が記載されています。具体的な確認項目ですが、タスク固有のテストはなお必要です。単独の問題を解くだけでなく、その業務で評価が妥当と言える条件を候補者に説明してもらってください。

依頼の進め方： データセットのサンプルを依頼する方法と、専門家のマッチングを利用する方法があります。どちらが必要かを指定しましょう。「コーディングデータの専門家が必要」だけでは、Turingがレビュー済みタスクを納品するのか、自社管理の工程に作業者を供給するのかが定まりません。

評価システムがすでに動いている技術系の創業者なら、マッチングされた専門家の方が依頼範囲を絞れます。制作体制がない研究機関なら、レビューと受け入れまで範囲に含めた成果物を求めてください。どちらかが常に優れているわけではありません。専門家の仕事を監督できる人がいるかどうかが決め手です。

適した用途： データ購入か専門家の活用かを検討している、ソフトウェアエンジニアリング、STEM、専門業務のプログラム。
特徴： カスタムデータセット、既存データセット、専門家のマッチングという選択肢が明示されています。
料金： 2026年11月9日に確認したFrontier AIのページに最低料金の数値はありません。選んだ提供形態で見積もりを依頼してください。
無料トライアル： データセットのサンプルは依頼できますが、本番制作の無料トライアルは案内されていません。

結論： 必要な調達方法があるかを見てTuringを選び、Mercorの見積もりと比較する前に、その方法を決めてください。

4. micro1：制作工程を可視化したい場合に適する

micro1は現在、最先端モデルとエージェント評価向けのデータラボとして位置付けられています。Realmは専門家の確保、データセット制作、制作状況の測定をつなぐサービスです。作業がどう進むかを確認したいなら、候補に入れる価値があります。単なるAI面接ツールと捉えると、現在提供している製品を見誤ります。

Realmの製品ページでは、構成要素が明示されています。Zaraは専門家の発掘・審査を担い、Flowは専門家がデータセットを制作・レビュー・納品する環境、Meritは専門家データの品質、制作速度、信頼性を追跡します。Realmにはエラー率やタスク当たりコストの追跡も記載されています。

特定分野の評価データを依頼する中堅企業のCTOにとって、これらの指標は確認すべき点を具体化します。エラー率はレビュー前と後のどちらを数えるのか。「タスク当たりコスト」に不合格の提出物や修正も含むのか。なぜ合格したのかを確認できるのか。見える指標も、購入する成果と定義が一致して初めて役立ちます。

専門家の審査： 公開された工程では、AIリクルーターのZaraが発掘と審査を担います。確認したページには、詳細な採点の合格基準や資格確認手順は公開されていません。面接結果と実タスクでの成績をどう照合するかも含め、別途確認してください。自動選考は手法であり、専門性を独立して証明するものではありません。

依頼の進め方： Realmでは企業を案件相談フォームに案内しています。成果物、専門分野、レビュアーに必要な資格、出力の使用先を伝えます。人材確保、指示書、レビュー、修正のどの部分をmicro1が担うのかを確認してください。ページには制作の構成要素が示されていますが、受けるサービスは契約で定義する必要があります。

例えば金融エージェント向けなら、根拠を説明できることと、採点ルールを再現できることを受け入れ条件にすべきです。専門家の誤答をどのように発見し、修正するかを実演してもらってください。すべてのタスクが最初から合格しているデモより、多くが分かります。

適した用途： 専門家の確保と制作品質の追跡を、同じプログラムで行いたい購入者。
特徴： 人材確保、作業実行、測定それぞれに名称付きの構成要素があります。
料金： 2026年11月9日に確認したRealmのページに最低料金の数値はありません。案件の見積もりを依頼してください。
無料トライアル： 同ページに無料トライアルの記載はありません。

結論： 制作状況を把握したいならmicro1を候補に入れてください。受け入れの判断は、ダッシュボードの有無ではなく成果物で行います。

5. Handshake AI：専門家データを企業のエージェント改善につなげたい場合に適する

Handshake AIは、最先端モデルの研究機関に専門家データを供給し、企業向けにエージェントやモデル改善に関わる業務も提供しています。本比較では、単なる大学生向け採用サイトではなく、AIデータと業務遂行のパートナーとして候補になります。企業向けの提案は、専門業務のワークフローに関する知識と、企業が導入したいシステムを結び付けるものです。

企業向けページには、専門家のワークフローに照らしたモデルのストレステスト、分野別データの供給、顧客チームとのエージェント構築、自社保有モデルの学習支援が記載されています。企業の運用担当者には、課題が評価と導入の両方にまたがる場合の選択肢になります。大規模な変革提案をそのまま受け入れず、どのサービスが必要かを確認してください。

業務レビューのもっともらしいスライドを作るものの、重要な例外を落としてしまうエージェントを、運用責任者が抱えているとします。必要な専門家は、その見落としに気付き、どの場面で重要になるかを説明し、その判断を繰り返し実行できるテストに変える支援ができなければなりません。幅広く立派な専門家ネットワークがあっても、担当レビュアーがこの業務を理解しているとは限りません。

専門家の審査： フェローシップの手順には、本人確認、案件とのマッチング、研修が挙げられています。確認した企業向けページには、分野別の選考基準は公開されていません。提案する専門家集団と、自社案件に必要な資格・評価との関係を営業担当者に説明してもらいましょう。ネットワークへの参加と、自社の受け入れテストへの合格は別です。

依頼の進め方： 企業向けには業務範囲を決める相談が入口です。専門家データの依頼は、エージェント開発やモデル学習の依頼と分けます。自社が何を受け取るか、どこで作業するか、誰がレビューするか、契約終了後に何を使い続けられるかを定義してください。

学習例だけを買う研究機関なら、範囲を絞ったデータセット提案で十分かもしれません。エージェントの失敗原因を調べたい企業なら、専門業務の知識と実装をつなぐ価値の方が大きい場合があります。提案されたチームが両方を担えるかを確認し、サイトの事業範囲の広さから推測しないでください。

適した用途： 分野の専門知識をエージェントの評価・改善につなげたい企業。
特徴： 専門家データのサービスと、企業向けエージェント開発の提案を併せ持っています。
料金： 2026年11月9日に確認した企業向けページに最低料金の数値はありません。業務範囲を定めて見積もりを依頼してください。
無料トライアル： 同ページに無料トライアルの記載はありません。

結論： 分野別データと企業のエージェント業務が重なるなら、Handshakeを検討してください。必要なのがデータセットだけなら、範囲を絞った提案を求めましょう。

6. Toptal：自社で業務を管理する専門家の確保に適する

Toptalは、選抜された専門人材のネットワークであり、本比較では最も明確な採用向けの選択肢です。自社チーム内で働くエンジニアや専門家が必要で、仕事を定義し監督できる場合に利用します。人材のマッチングを、学習データの制作・管理サービスと同一視してはいけません。

技術系の創業者が一人で事業を進めているなら、足りないのは評価ハーネスの構築、採点ワークフローの統合、モデルの失敗診断を担う人かもしれません。それは人材の依頼です。専門家は能力の構築を支援できますが、タスクの作成者、ラベルのレビュアー、契約終了後のデータセット保守担当者は引き続き決める必要があります。

専門家の審査： Toptalが公開する手順には、コミュニケーションと専門分野の評価、適切な技術・専門業務の演習、対面での問題解決、テストプロジェクトが含まれます。単に「審査済み」とするより具体的です。ただし、エンジニアリングやコンサルティングの選考を通過したからといって、学習データ設計の専門性まで自動的に証明されるわけではありません。

依頼の進め方： Toptalは顧客と専門家をマッチングします。実際に任せたい仕事に照らして候補者を評価してください。テスト実行基盤を作れる人が、すべての出力を判断する資格を持つとは限りません。両方が必要な案件なら、責任の区分を明示します。

適した用途： 自社が管理するワークフローに、エンジニアや専門家を迎えること。
特徴： 公開された選考手順と、条件付きのノーリスクトライアル。
料金： マッチングを進めるとプラットフォームのサブスクリプション料金がかかり、人材料金は別途発生します。契約全体の見積もりを求めてください。条件は2026年11月9日にToptalの顧客向けFAQで確認しました。
無料トライアル： 条件付きのノーリスクトライアルです。満足した場合は作業時間が請求されるため、無条件の無料労働ではありません。

サブスクリプション料金は、案件費用の目安として役立ちません。専門家の単価、想定範囲、要件変更が契約に与える影響を確認してください。完成した提案全体を、制作・管理会社に合格済み成果物を発注する費用と比較します。

結論： ボトルネックが個人の実務担当者なら、Toptalを選んでください。自社で工程を構築・運用するつもりがない限り、制作・管理を任せるデータセットの直接的な代替には向きません。

自社にはどの会社が適しているのか

判断を分けるのは、誰が品質を管理するかです。 自社で作業者を監督し、レビュアーの基準をすり合わせ、不合格の作業に対応できる人がいないなら、制作・管理まで含む納品を求めます。その体制がすでにあり、専門家だけが不足しているなら、専門家の活用を依頼します。

幅広いデータ制作を必要とする最先端モデルの研究機関なら、Scaleから検討し、繊細な判断が中心になる場合はSurgeを比較します。ソフトウェアエンジニアリング、STEM、既存データセットで課題を解決できる場合はTuringを、制作の可視性が重要な選定基準ならmicro1を加えてください。

専門業務のワークフローでエージェントが失敗する企業の運用担当者なら、Mercorの評価サービスと、Handshakeの専門家データ・企業向けサービスを比較します。同じ失敗を診断してもらい、終了後も自社で再利用できる成果物を明示してもらいましょう。

何を作るべきかがすでに分かっている創業者には、Toptalの方が範囲を絞った選択になり得ます。専門家が最先端モデルの学習・評価に関わる場合は、Turingの専門家活用についても相談する価値があります。

自社の採用チーム向けに応募者の発掘、選考、面接運営が必要なら、別記事のAI採用ツールを参照してください。それは、専門家が制作するデータの委託とは別の購入です。

見積もりを同じ条件で比べるには

候補各社に同じ受け入れ仕様を渡します。タスク、分野別の資格要件、想定する出力形式、レビュー工程、修正の責任を定義してください。見積もりに人材確保、導入研修、ルーブリック設計、独立したレビュー、判断の裁定、不合格の作業の差し替えが含まれるかを確認します。

課金の単位を明確にしておきましょう。専門家の1時間、提出されたタスク、合格したタスク、ライセンス付きデータセットは、それぞれ別の単位です。安く見える見積もりが、レビュー作業を自社の従業員に移していることもあります。利用可能な成果物の量と、受け入れに必要な社内工数を比べてください。

拡大する前に、データの許可された用途、アクセス制御、機密入力の取り扱い、案件終了時にエクスポートできるものを確認します。取引先ロゴから推測せず、提案された契約について質問してください。

候補をどう選んだのか

選定の基準は、現在の購入者向けサービスであり、働き手からの人気ではありません。 各社を掲載しているのは、自社サイトで関連する専門家データ、評価業務、専門人材のマッチングを現在説明しているからです。Toptalは採用も本稿の対象に含むため掲載し、制作・管理を任せるデータとの違いを明示しました。

比較軸は、成果物、提供形態、公開された審査、レビューの可視性、料金の透明性です。Scaleを幅広い制作・管理の第一候補としたのは、公開サービスの広さに基づく判断であり、品質を測定した順位ではありません。ツールの実機検証、有料データの試験制作、顧客の成果の独立した検証は行っていません。

本稿独自の分析は、購入者が受け取るものと、業務の管理を担う側を切り分けた点にあります。公開中の製品ページを確認すれば、サービスの存在は確認できます。しかし、自社案件に割り当てられる専門家の品質までは検証できません。

避けるべき選び方

会社が適切でも、提供形態を間違えることは避けてください。 検証済みデータと制作管理をまとめて求める場合、Toptalを既定の選択にするのは不適切です。案件を発注する企業がHandshakeのフェローシップ申し込みに進むのも、窓口が違います。Turingの専門家マッチング提案と、同社のデータセット提案も交換可能ではありません。

ネットワークの規模の主張や、見栄えの良いサンプルだけでScale、Surge、micro1を採用するのは避けましょう。自社の受け入れ基準で試験導入し、成功例だけでなく誤りも確認してください。これは調達上の原則であり、特定の企業への疑惑を示すものではありません。

働き手の報酬額での比較も避けてください。その金額から、購入者が管理、ツール、レビュー、合格済み成果物に支払う費用は分かりません。また、必要な成果物が学習データセットなら、汎用の採用ソフトのサブスクリプションを選ぶのも避けましょう。

よくある質問

Mercor AIとは何ですか？

Mercorは、専門家が制作する学習データ、評価業務、強化学習環境を提供しています。企業向けの評価サービスには、購入者の指揮下でチームに加わる専門家と、検証済み評価の制作・管理を任せる納品の両方があります。

AI分野の主な競合企業はどこですか？

本稿の調達目的なら、専門家データや評価関連の業務でScale AI、Surge AI、Turing、micro1、Handshake AIを比較してください。自社で管理する専門人材を購入する場合はToptalも比較対象になります。モデル開発企業そのものは別のカテゴリーです。

効果的なAI学習プラットフォームには何がありますか？

Scale、Surge、Turing、micro1は関連するデータ制作サービスを公開しており、Handshake AIも専門家データを供給しています。こうした説明だけでは、自社モデルに有効かどうかは判断できません。同じタスク仕様と受け入れ基準を使い、試験導入の成果物を比較してください。

Mercorは良い会社ですか？

購入者にとって有用なのは、提案された契約が必要な業務に合うかという問いです。担当する専門家、レビュー工程、合格済み成果物、データの権利、取引条件を評価してください。製品ページの比較から、会社全体の品質について結論は出せません。

Mercorに似た会社はありますか？

はい。Scale AI、Surge AI、Turing、micro1、Handshake AIは、専門家データや評価の事業で重なります。Toptalは専門家の採用ニーズで重なりますが、本稿で扱う人材マッチングでは、仕事を指揮する責任は購入者に残ります。

最も注目されているAI企業はどこですか？

専門家データの選定に、人気は有用な基準ではありません。適切な資格、再現可能なレビュー工程、自社タスクで使える成果物を実証できる供給元を選んでください。

どの企業がMercorと協業していますか？

Mercorのホームページには、ベンチマークでの協業先としてHarvey、Ramp、Google、Cognition、Sierraが挙げられています。ベンチマークの協業先が、検討中のサービスの有料顧客とは限りません。提案された契約に関連する事例や照会先を求めてください。

社内でAIツールをどう位置付けるかを広く把握するには、事業オーナー向けAIツールマップをご利用ください。