A/Bテスト サンプルサイズ計算ツール(必要サンプル数・母数)

「A/Bテストは何人に見せれば結果を信じられる？」を事前に計算する無料ツール。現状CVRと狙う改善幅を入れるだけで、必要なサンプル数(母数)とテストの所要日数がわかり、上司に共有できるテスト計画文も自動生成します。

  • 登録・ログイン不要
  • 無料
  • 入力値をサーバーに送信しません
必要な人数と期間

現状のCVRと狙う改善幅を入れると、必要な人数とテスト期間を1文で出します

必要人数の計算書 — 差の小ささが人数を決めるα5% / 検出力80%
検出したい差EFFECT
① 現状のCVRと ② 狙う値を入れてください
→ 1案あたりの必要人数SAMPLE SIZE
1案あたりPER ARM
—
× 2案(A案とB案)
合計TOTAL
—
÷ 1日あたりの対象者数③に入れると日数を出します
テスト期間DURATION
—

テスト期間のものさし

③に1日あたりの対象者数を入れると、何日かかるかをこのものさしに描きます。

集めきるまでの期間1週間・2週間・1ヶ月の目盛
テスト計画テキスト — 上司への共有・実施メモに貼れます
①に現状のCVRを入れて、②の改善幅ボタンを押すと計算します。まずは左の例ボタンを押してみてください。

判定の厳しさは統計の標準設定(有意水準5%・検出力80%・両側検定)で計算しています。変えたい場合は左の「OPTION」から。テスト終了後の判定はA/Bテスト有意差判定ツールで。入力値は外部に送信されません。

テストの条件を入れる

A/Bテストを何人に見せれば結果を信じられるか(必要なサンプル数)を、テストを始める前に計算します。

100人中3人が申込むなら「3」
下のボタンでも入ります

改善幅を小さくするほど、必要な人数は桁違いに増えます。

任意。テスト日数を計算します
OPTION — 判定の厳しさ(通常は変更不要)
差がないのに「差がある」と誤判定する確率の上限
本当に差があるとき、それを見つけられる確率
例:

入力内容はブラウザ内だけで計算・保存され、サーバーには送信されません。「条件のURL」も入力値を#以降に載せるためサーバーへは送られませんが、URLを共有した相手は入力値を見られます。無料・登録不要で使えます。

使い方

  1. 例ボタン(すぐ終わる(メール件名 20%→24%) / 現実的(LP改善 3%→4%) / 長すぎる(改善幅が小さい 3%→3.3%))を押すと、結果の見え方がつかめる
  2. ①に現状のCVR(%)を入れ、②の改善幅ボタン(+10%/+20%/+50%)を押す
  3. ③に1日あたりの対象者数を入れると所要日数まで自動計算。テスト計画文をコピーして共有する

USE CASESこんな場面で使える

  • テスト設計走らせる前に「何人集めれば判定できるか」を確認し、判定不能なテストを避ける
  • テスト期間の見積もり必要日数からテストのスケジュールを決め、関係者に説明する
  • 目標の現実性チェック手持ちのトラフィックで検出できる改善幅の目安を逆算する

FORMULA計算式・仕組みと根拠

  • n(1群あたり) = (z(α/2)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² ÷ (p₂−p₁)²
  • p̄ = (p₁+p₂)÷2。z(α/2)は有意水準、z(β)は検出力に対応する標準正規分布の値(例: 5%→1.96、80%→0.842)
  • 所要日数 = 必要サンプル合計(2群分) ÷ 1日あたりの対象者数(端数切り上げ)
  • 根拠: 2群の比率の差の検定(両側)に対する標準的なサンプルサイズ設計式です。

EXAMPLE入力例と結果の読み方

現状CVR3%・改善後CVR4%(有意水準5%・検出力80%)と入力すると、必要サンプルは1パターンあたり5,301人、A/B合計で10,602人です。1日500人が対象なら所要日数は22日。「+1ポイントの改善を検出するには約3週間必要」と読み、それより早く打ち切るとたまたまの差を実力と誤認するリスクが高くなります。

PITFALLSよくある間違い

  • サンプルサイズを決めずにテストを始め、良さそうに見えた時点で打ち切る(偽陽性の典型パターン)
  • 検出したい改善幅を大きく見積もりすぎる(+1ポイントの半分の+0.5ポイントを検出するには約4倍のサンプルが必要)
  • 相対の改善率(+10%改善)と絶対の改善幅(+1ポイント)を混同する(このツールの+10%/+20%/+50%ボタンは相対の改善率で、CVR3%なら3.3%/3.6%/4.5%になる)

NOTES境界条件・注意点

  • 両側検定・2群への均等割り付けを前提としています
  • CVRが0%または100%に極端に近い場合、正規近似の精度が下がります
  • 計算上の日数が短くても、曜日変動をならすため最低1〜2週間は回すのが実務の定石です

A/Bテストのサンプルサイズとは?計算の考え方

A/Bテストのサンプルサイズとは、AとBの差を「偶然のブレ」と区別して判定するために、 1案あたりに集める必要がある人数(表示回数)のことです。実務では「テストの母数」「必要サンプル数」とも呼ばれます。 計算に必要な入力は現状のCVR・検出したい改善幅・有意水準(通常5%)・検出力(通常80%)の4つだけで、 2つの比率の差の検定に基づく標準的な計算式から求まります。上のツールはこの式で計算しています。

重要なのは、サンプルサイズはテストを始める前に計算するものだという点です。 走らせてから「差が出ないので延長する」「差が出た瞬間に打ち切る」を繰り返すと、 偶然の差を実力と誤認する確率が跳ね上がります。先に必要人数と日数を決め、集まるまで判定しない—— これがA/Bテストの大原則です。計算式の中身と「なぜ4つの入力で決まるのか」は 解説記事のA/Bテストに必要なサンプル数の考え方で詳しく説明しています。

なぜ人数(サンプル数)が必要なのか

人数が少ないと、CVRは実力と関係なく大きくブレます。真のCVRが3%のページでも、100人しか見ていなければ 「たまたま0人」「たまたま6人」は普通に起こります。このブレ幅が狙う改善幅より小さくなるまで人数を集めるのが、 サンプルサイズ計算の意味です。

人数が増えるほどCVRのブレ幅は縮む(真のCVR3%のときの95%の振れ幅)

100人
±3.3pt(0〜6.3%までブレる)
1,000人
±1.1pt(1.9〜4.1%)
5,301人
±0.5pt(2.5〜3.5%)

「CVR3%→4%(+1ポイント)の改善を検出したい」なら、ブレ幅±3.3ptの100人では話になりません。 上のツールの例(3%→4%)で必要と出る1案あたり5,301人まで集めると、ブレ幅が±0.5ptまで縮み、 +1ポイントの差を偶然と区別できるようになります。

必要サンプル数(サンプルサイズ)の早見表

有意水準5%(両側)・検出力80%の条件で、A/Bテストの1パターンあたりに必要なサンプル数の概算です。 改善幅が小さいほど、必要なサンプルは桁違いに増えます。 なお、実務で「テストの母数」と呼ばれる人数はこのサンプル数のことです。 右端のボタンを押すと、その行の「+20%の改善」を狙う条件で計算し直します。

元のCVR+10%の改善を検出+20%の改善を検出+50%の改善を検出+20%の条件で試す
1%約16万約4.3万約7,700
3%約5.3万約1.4万約2,500
5%約3.1万約8,100約1,500

「+10%の改善」は相対値です(CVR3%→3.3%)。トラフィックが少ないサイトでは小さな差の検証は現実的でないため、 ボタン文言の微修正より、価格表示や訴求軸の変更など大きな差が出うる施策からテストするのが定石です。 自分の条件の正確な値は上のツールで計算できます。

有意水準・検出力の意味

設定意味よく使う値
有意水準(α)本当は差がないのに「差がある」と誤判定してしまう確率の上限5%
検出力(1−β)本当に差があるときに、それを検出できる確率80%(厳密にやるなら90%)
片側/両側改善と悪化の両方向を検定するのが両側。通常は両側を使う両側

テスト結果が出たあとの有意差判定はA/Bテスト有意差判定ツールで、 判定の考え方はA/Bテストとサンプルサイズの記事で、 用語の定義は用語集のファネル(CVR)で解説しています。

FAQよくある質問

必要サンプルサイズはどうやって計算していますか？

2群の比率の差の検定(両側)の標準式で計算しています。現状CVRと改善後CVRの差が小さいほど、また検出力・信頼水準を高くするほど必要サンプルは増えます。例えばCVR3%→4%の検出には1群5,301人が必要です。

検出力80%とはどういう意味ですか？

本当に差があるときに、その差を「統計的に有意」と検出できる確率が80%という意味です。Webのテストでは検出力80%・有意水準5%が標準的な設定で、見逃しをより減らしたい場合は検出力90%を選びます。

サンプルが集まらない場合はどうすればいいですか？

検出する改善幅を大きくする(ボタン色ではなく訴求全体など大胆な変更をテストする)、テスト期間を延ばす、テスト対象ページを広げる、の3つが現実的です。小さな改善幅を少ないサンプルで統計的に判定することはできません。

A/Bテストは何人いれば信頼できますか？

一律の人数はなく、現状CVRと検出したい改善幅で決まります。目安として現状CVR3%を4%に上げる(相対33%改善)なら1群5,301人・計10,602人、3%を3.3%に上げる(相対10%改善)なら1群は約5万人規模になります。改善幅が小さいほど必要人数は急激に増えるため、「何人必要か」は必ずテスト開始前に計算してください。

サンプルサイズを計算せずにA/Bテストを始めるとどうなりますか？

差が出ていないのに「勝った」と誤判定するか、本当は効果があるのに「差がない」と見逃します。特に危険なのは、テスト中に毎日結果を覗いて有意になった時点で止める運用(peeking)で、これは偽陽性を大幅に増やします。必要サンプル数と終了日を先に決め、そこまでは判定しないのが原則です。

有意水準5%とはどういう意味ですか？

本当は差がないのに「差がある」と誤判定してしまう確率を5%に抑える、という設定です。信頼水準95%と同じことを指します。Webのテストでは有意水準5%・検出力80%が標準で、より慎重に判定したい場合は有意水準1%(信頼水準99%)を選びます。

A/Bテストは何日間くらい回せばいいですか？

必要サンプル数を1日あたりの対象人数で割った日数が下限ですが、最低でも1〜2週間は回してください。曜日によってCVRは大きく変わるため、週の途中で止めると平日・休日の偏りがそのまま結果に乗ります。本ツールは1日あたりの流入数を入れると必要日数を自動計算します。

A/Bテストのサンプル数はA案とB案でそれぞれ必要ですか？

はい。計算結果は「1群あたり」の人数なので、A案・B案の両方にその人数が必要です。総数は2倍になります。3パターン以上を同時にテストする場合はさらに群の数だけ必要になり、加えて比較回数が増えることで偽陽性も増えるため、まずは2案での比較を推奨します。