AIバンディットとABテストを比較：30日間のCVR実測と判断基準

最もアクセスの多いランディングページで、次に予定していたABテストを取りやめ、代わりにAI多腕バンディットを導入しました。30日後、登録数は増え、劣勢のバリアントへの配分は自動的に絞られました。しかし、統計的に有意な寄与の数値は示せません。そもそもバンディットが生み出すのは、その種の数値ではないからです。この引き換えこそ、本稿の核心です。

ABテストとは違う「数字」——成果と落とし穴

対象は、広告から来た新規ユーザーと、オーガニック経由ですでに接点のあるユーザーをトライアル登録へ導く、長尺のオファーページです。バンディット導入前30日間の登録コンバージョン率は3.41%。同じページ、同じオファー、同じトラフィック構成のまま、配分をバンディットに任せた後の30日間は4.62%でした。主要コンバージョンにおける相対改善率は35.5%です。

ただし、この数字だけが切り取られないよう、先に重要な注意点を述べておきます。これは累積成果の改善であって、因果関係を特定した改善ではありません。多腕バンディットは、その時点で勝っているバリアントへトラフィックを寄せます。単一バリアントの信頼区間を算出できるほど、きれいな50/50配分を維持する仕組みではありません。p値も、「バリアントBが95%の信頼度でバリアントAを上回った」という結論もありません。言えるのは、「直前の対照期間よりも、訪問者全体でコンバージョンした人数が増えた」ということだけです。この2つは別の主張であり、その違いを理解する取締役会なら、どちらを主張しているのか必ず確認するはずです。

費用も示しておきます。30日間で、約84,000ページビューをバンディットに通しました。ツール費用は、100KページビュープランのWebflow Optimizeが1か月$299、それにCoframeのパイロット利用分（価格は要問い合わせ。詳しくは後述）です。プラットフォーム費用は合計$500未満。相当数のトライアルを生むページで実際に改善が出たことを考えれば、採算は合います。それでも、アトリビューション上の留保は消えません。

なぜABテストの計画を取りやめたのか

このページは、2つのトラフィック経路の最下流にあります。1つは、以前紹介したAdCreative.ai、Pencil Pro、人間によるクリエイティブのローテーションを使ったMeta広告。もう1つは、14日間のGEO実践ガイドから生まれたオーガニック流入とAI検索エンジンからの参照流入です。合計は1日約2,800セッション。広告とオーガニックの比率は30/70で、週ごとに変動します。

このトラフィック特性は、厳密なABテストにはまったく向きません。ベースラインのコンバージョン率3.4%に対して10%の相対改善を検出力80%で捉えるには、各アームに約50,000人が必要でした。2アームを50/50に固定すると、約35日かかります。つまり、有意差を待つ5週間、すでに劣勢と分かっている案にも広告トラフィックの50%を流し続けることになります。広告側のCPLが$24なら、劣勢案の成績が1パーセントポイント悪化するたび、設計上の都合で現実の予算が失われます。

これが「リグレット（後悔）」の問題です。ABテストは純粋な探索です。統計的検出力を得るために配分を固定し、その代償として、実験期間中ずっと訪問者の半数に悪い体験を提供します。一方、バンディットは明快な推論を手放す代わりに、累積成果を取りにいきます。ほかの案も探索しながら首位のバリアントを活用し、定常的な問題では、均等配分のABテストと比べて累積リグレットを30–60%減らすことが実証比較で示されています。

開始時に決めた判断基準は、次のとおりです。

• 検出したい効果に対してトラフィックが少ない、劣勢案を表示する損失が大きい、終了日が決まったキャンペーンではなくページを常時運用する、そして説明可能な因果効果よりも今四半期の累積コンバージョンを重視するなら、バンディットを選びます。
• P&Lの責任者に改善を説明する必要がある、変更が大きく実施頻度も低い（価格、ヒーローセクション、ポジショニングなど）、またはバリアント間の差が大きすぎて一緒に学習できないなら、ABテストを選びます。

このページは、バンディットを選ぶ条件をすべて満たしていました。そこで、待機中だったABテストを中止し、バンディットを走らせました。

使用したツールと費用の全内訳

従来型のABテストではなく、AIによる継続的な最適化を提供する4つのツールを評価しました。2つは本番で使い、残る2つも本格的に検討したうえで、今回は採用しませんでした。率直な評価をまとめます。

Coframe。 コピー、ビジュアル、さらにはコンポーネントのコードまでバリアントを生成し、改良型の多腕バンディットでトラフィックを配分するオプティマイザーです。導入はscriptタグ方式。同社は約$9Mを調達しています。価格は要問い合わせで、公開された料金ページはありません。この事実自体が計画上のシグナルです。予算を予測しにくく、開始前に営業プロセスが必要で、個人運用者とは相性のよくないエンタープライズ志向です。私はパイロット運用を実施しました。4製品のなかで、生成バリアントの品質は最高でした。一方、調達の手間も最大でした。

Webflow Optimize。 Webflowが買収したIntellimizeのエンジンを基盤としています。Standardプランは100Kページビューで月額$299。25K、50K、100K、250K、500Kの各プランがあり、同時に最大5件のテストを実行できます。利用できるのはWebflowでホストしたページだけです。私には問題ありませんが、それ以外の環境でサイトを運用している場合は選択肢になりません。今回の30日間の本番運用には、この製品を採用しました。対象ページがもともとWebflow上にあり、Webflowプランの費用計算も済んでいたからです。

Optimizely Opal。 既存のOptimizelyプラットフォームに重ねる、エージェント主導の実験機能です。Optimizelyが公表した数値では、Opalのユーザーは実験数が78.7%、パーソナライゼーション施策が24.1%増え、勝率は9.3%向上しています。いずれもベンダー独自の手法によるベンダー公表値なので、その前提で割り引いて見るべきです。料金はエンタープライズ向け。すでにOptimizelyを契約しているチームには合理的ですが、1枚のランディングページには見合いませんでした。

VWO Copilot。 Testing、Insights、Personalizeの各機能にAIレイヤーを加えた構成です。4製品のなかで最も実績が長く、AI機能の土台には古典的なABテストの考え方が最も色濃く残っています。バンディットを中心に据え、必要に応じてABテストを使うのではなく、AI支援付きの明快なABテスト運用を求めるなら、私ならこれを選びます。

今回の構成は、30日間を通してWebflow Optimizeを本番運用し、Coframeはバリアント品質を比較するために別のページで並行してパイロット運用する、というものでした。

30日間の実践手順——日ごとの進め方

0–3日目：計測を整え、固定する。 コンバージョンイベントは1つだけ。ボタンクリックではなく、サーバー側で確認したトライアル登録です。クライアント側で数えると、すべてのバリアントの数字が同じように膨らみ、ノイズを成果だと思い込んでしまいます。対照群も固定しました。既存ページを一切変更せずバリアントAとし、後から比較できるホールドバック群を確保するため、全期間を通じて配分の下限を20%に設定しました。この下限がなければ、首位が決まった時点でバンディットが対照群への配分をほぼ止め、比較対象が残りません。

4–10日目：生成し、学習を任せる。 ヒーローの見出し、主要CTAのコピー、ソーシャルプルーフ欄の順番を変えた4つのバリアントを用意しました。最初の1週間はバンディットの探索フェーズです。7日目の配分は、対照群と4つのバリアントに対して22%、19%、21%、18%、20%と、ほぼ均等でした。多くの運用者が不安になり、手を加えたくなる局面ですが、触ってはいけません。学習途中でバリアントを変えると事前分布がリセットされ、1週間を無駄にします。

11–21日目：配分が傾き始める。 12日目ごろから、バンディットの配分に目に見える偏りが出ました。18日目には、首位のバリアントがトラフィックの41%を獲得し、対照群は下限の20%を維持。中位の2案はそれぞれ約15%、最下位は10%未満まで絞られました。これこそバンディットの仕事です。劣勢案に送る訪問者はすべてリグレットであり、アルゴリズムはそれをリアルタイムで最小化します。

22–30日目：勝ち筋を固め、次を決める。 固定したのは、文字どおりの勝者バリアントではなく、勝った方向性です。短いヒーロー、ベネフィットを前面に出したCTA、ファーストビュー内のソーシャルプルーフというパターンでした。バリアントを書き出し、30日目に次の判断をします。勝者を対照群との厳密なABテストに進め、取締役会に示せる因果効果を取り戻すのか。それとも、次のバリアント群でもバンディットを継続するのか、という判断です。

運用中は、次のガードレールを設けました。対照群への配分は最低20%。いずれかのバリアントの信頼下限が、対照群に対して50%の相対低下を48時間超示した場合は停止。さらに、トラフィック構成の変化を週次で確認し、広告とオーガニックの比率が前週から10ポイントを超えて動いたら、安定するまでバンディットを凍結するルールです。非定常なトラフィックは、気づきにくい最大の落とし穴です。

バンディットアルゴリズムのアトリビューション問題

一般的な比較記事が触れないこの論点こそ、本稿を書いた唯一の理由です。

多腕バンディットは、その構造上、単一バリアントについて統計的有意性を示せません。ABテストの統計的な仕組み、つまりp値、信頼区間、検出力計算は、配分ルールが固定されていることを前提とします。バンディットの価値は、その配分ルールが固定されず、初期データに応じて変化する点にあります。成果によって配分が変わった瞬間、古典的な推論は成立しなくなります。各アームの標本に偏りが生まれるためです。母集団全体の累積コンバージョンは測定できますが、バリアントBとバリアントAの間に明快な因果関係があるとは言えません。

これは欠陥ではなく、設計そのものです。バンディットが最適化する目的は別にあります。累積リグレットを最小化し、累積コンバージョンを最大化することです。定常的な問題を対象にした実証比較では、均等配分のABテストよりリグレットを30–60%削減できることが一貫して示されています。評価指標は「リグレットが少ないこと」であり、「バリアントBの因果的な改善が証明されたこと」ではありません。

したがって、表現を厳密に使い分ける必要があります。

• 妥当な表現： 「バンディット導入後、30日間、84,000人の訪問者全体でページのコンバージョン率は4.62%でした。同じページの直前30日間は3.41%でした」
• 妥当でない表現： 「バリアントBがコンバージョン率を35%改善させた」

前者は累積成果についての記述です。後者は因果関係の主張であり、バンディットでは裏付けられません。

部分的な解決策として使ったのが、20%の対照ホールドバックです。元のページに30日間を通じて20%の配分を保証したため、小規模ながら汚染のない比較コホートを確保できました。運用期間中、対照群のコンバージョン率は3.38%で、直前30日間のベースラインとほぼ同じでした。非対照群は4.93%です。これは、改善が季節性による見かけではなく、実在することを方向性として示します。それでも厳密なABテストの結果ではありません。非対照群自体が、配分の変わり続ける複数バリアントの混合だからです。ただ、取締役会に「運用結果は内部ホールドバックを上回った。差はこれだけで、主張する範囲としない範囲はここまで」と説明するには十分です。

説明可能な因果効果が必要なら、まずバンディットで有望な方向性を見つけ、次に首位のバリアントを対照群との50/50のABテストへ進めます。運用者が許容できるリグレットと、分析者が求める立証水準の両方を尊重するワークフローです。

改善しなかったケース

同じ手順を2つのページでも試しましたが、そこでは単純なABテストよりバンディットの成績が劣りました。1つ目は、1日400セッション未満の低トラフィックな料金ページです。探索を抜けるまでに時間がかかりすぎ、方向性の読み取りにもノイズが多くなりました。6週間の単純な50/50のABテストのほうが、運用負荷を抑えつつ明快な答えを得られました。2つ目は、バリアントの表示からコンバージョンまで3–5日の遅れがあるチェックアウトフローです。バンディットは比較的すぐにフィードバックが返ることを前提とします。表示と成果の間隔が長いと、古いデータに基づいて配分を変え、実体のないシグナルを追うことになります。

生成されたバリアントのうち、Coframeでは約40%を却下しました。Webflow Optimizeでも、それより少ない割合を却下しています。見分ける手がかりはいつも同じです。不自然な箇所に入るemダッシュ、ありきたりで力強さだけを狙った動詞、マーケターらしく聞こえようとするモデル特有の並列リストのリズム。ブランドの語り口に似ているようで似ていない「不気味の谷」に入った案は、トラフィックに触れる前にすべて除外しました。この却下率こそ、料金ページには載らないコストです。

3週目には、非定常性の罠に危うくはまりかけました。Metaキャンペーンを拡大した結果、広告トラフィックの比率が4日間で30%から47%へ急増したのです。首位のバリアントは、それまでと異なるトラフィック構成を相手にすることになり、コンバージョン率が下がり始めました。そこでバンディットを48時間凍結し、構成が安定するのを待って、新たな探索として再開しました。そのまま動かしていたら、一時的に異なるオーディエンスから誤った学習をしていたはずです。

何度でも使える判断原則

今回のページ固有の事情を取り除き、判断基準を一般化すると、次のようになります。

検出したい改善幅に対してトラフィックが少ない、訪問者の半数に劣勢案を見せる損失が無視できない、キャンペーン期間に縛られずページを常時運用する、そして単一バリアントの説明可能な因果効果より今四半期の累積コンバージョンを優先するなら、バンディットを使います。反対に、P&Lの責任者へ改善幅を説明する必要がある、変更が大きく実施頻度も低いため確定前に明快な結果が必要、あるいは勝者をほかの接点へ展開する前に本当に効果があったか確かめたいなら、ABテストを使います。

多くの運用者は、最終的に両方を使うことになります。ホームページ、主要オファーページ、登録フローなど、常時稼働するコンバージョン面にはバンディット。価格、ポジショニング、ヒーローの刷新といった方向性を決める賭けにはABテストです。両者を競合する手法として扱うのは誤りです。最適化する目的が違います。よくある比較記事の誤りは、統計上の代償がない無料アップグレードのようにバンディットを描くことです。実際には違います。差し出すのはp値であり、その代償を理解したうえで払うか、最初から使わないかのどちらかです。

ここで示した規模で継続運用する費用は、100KページビュープランのWebflow Optimizeが月額$299。トラフィックが増えれば上位プランが必要です。さらに、配分の確認、悪いバリアントの停止、非定常な変動の監視に、運用担当者の時間を週あたり半日見込んでください。これが実額です。この仕組みを代理店や社内のグロースチームに組み込み、コンバージョンのアトリビューションをCRMとデータウェアハウスへ正確に接続する支援が必要なら、それは別の話です。ただしバンディットの導入自体は、担当者1人、午後1回、scriptタグ1つで済みます。

長い記事を最後まで読んでいただいたので、CTAは1つだけにします。AIビジネスワークフロー監査チェックリストは、どの接点がバンディットに適し、どこに厳密なABテストが必要かを見極める際に、私が実際に使っているものです。ツールを選ぶ前に、自社のファネルへ当てはめてみてください。先にツールを選ぶと、使いこなせるだけのトラフィックがない機能に、グロースチームが料金を払い続けることになります。