A/Bテストに必要なサンプルサイズは？計算式・早見表と期間の決め方
A/Bテストの必要サンプルサイズは、現状のCVRと「検出したい改善幅」から統計的に決まります。 目安として、CVR3%のページで+1ポイントの改善を検出するにはA/B合計で約1万人が必要です。この記事では、必要数の考え方と早見表、テスト期間の決め方を解説します。
なぜ事前にサンプルサイズを決めるのか
サンプルが足りないままテストを判定すると、次のどちらかが起きます。
- 偽陽性 — たまたまの差を「Bの勝ち」と誤認して本実装し、成果が再現しない
- 検出漏れ — 本当は効果があった改善を「差なし」と捨ててしまう
特に多い失敗が「良さそうに見えた時点での打ち切り」です。テストを毎日眺めて有意になった瞬間に止めると、偽陽性率は設定した5%を大きく超えます。開始前に必要数を計算し、達するまで判定しない。これがA/Bテストの大原則です。
必要サンプルサイズの早見表(CVR3%の場合)
有意水準5%・検出力80%・2群均等配分での必要数です。
| 検出したい改善 | 必要サンプル(A/B合計) | 1日500人なら |
|---|---|---|
| 3% → 3.5%(+0.5pt) | 約39,500人 | 約79日 |
| 3% → 4%(+1pt) | 約10,600人 | 約22日 |
| 3% → 4.5%(+1.5pt) | 約5,000人 | 約11日 |
| 3% → 5%(+2pt) | 約3,000人 | 約7日 |
自社のCVR・トラフィックでの必要数は計算式に当てはめて算出します。
テスト期間はどう決めるのか
- 必要サンプル合計を、テスト対象ページの1日あたり訪問者数で割る
- 出てきた日数を週単位に切り上げる。曜日によってユーザーの質が変わるため、計算上4日でも1週間は回す
- 8週間を超える場合はテスト設計を見直す。期間が長すぎると、季節要因やキャンペーンなど別の変化が混ざります
サンプルが集まらない場合の現実的な選択肢は3つです。大胆な変更をテストして検出したい差を大きくする(ボタン色ではなく訴求全体)、テスト対象を広げる(1ページでなくテンプレート単位)、より上流の指標で測る(購入でなくカート追加)。小さな改善幅を少ないサンプルで判定することは、統計的にできません。
よくある失敗
- 有意になった瞬間に打ち切る — 偽陽性の典型。事前に決めた数まで回し切る
- 相対と絶対を混同する — 「CVR10%改善」は3%→3.3%(+0.3pt)であり、3%→13%ではない。必要サンプルは絶対幅で決まります
- 同時に複数の変更を入れる — どの変更が効いたか分離できない。1テスト1論点はCTVRの改善でも同じ原則です
- テスト対象のKPIが売上と繋がっていない — クリック率が上がってもCVRが下がることはあります。指標の設計はデジタル広告のKPIを参照してください
サンプルサイズの計算は一度覚えれば数十秒の作業です。テストを走らせる前にサンプルサイズ計算ツールで「勝敗を判定できるテストか」を必ず確認してください。
よくある質問
A/Bテストに必要なサンプル数はどのくらいですか?
検出したい改善幅によって大きく変わります。CVR3%のページで+1ポイント(3%→4%)の差を検出するにはA/B合計で約1万人、+0.5ポイントなら約4万人が必要です(有意水準5%・検出力80%)。テスト開始前に計算ツールで確認するのが定石です。
検出力80%とはどういう意味ですか?
本当に差があるときに、その差を統計的に有意と検出できる確率が80%という意味です。Webのテストでは有意水準5%・検出力80%が標準的な設定で、見逃しをより減らしたい場合は検出力90%にしますが、必要サンプルは増えます。
A/Bテストを途中でやめてはいけないのはなぜですか?
良さそうに見えた時点で打ち切ると、たまたまの差を実力と誤認する確率(偽陽性)が大きく上がるためです。事前に必要サンプルサイズと期間を決め、達するまでは判定しないのが原則です。