A/Bテスト サンプルサイズ計算ツール
A/Bテストに必要なサンプルサイズ(標本数)を事前に計算する無料ツール。現状CVRと検出したい改善幅から、統計的に信頼できる判定に必要な人数と所要日数を求めます。
使い方
- 現状のCVR(%)と、検出したい改善後のCVR(%)を入力する
- 有意水準(通常5%)と検出力(通常80%)を選ぶ
- 1日あたりの対象者数を入れると、必要サンプル数からテストの所要日数まで自動計算される
計算式は2群の比率の差の検定(両側)の標準的なサンプルサイズ設計式です。テスト結果の有意差判定はA/Bテスト有意差判定ツールで。
🔒 入力内容はブラウザ内だけで計算・保存され、サーバーには送信されません。「条件のURL」も入力値を#以降に載せるためサーバーへは送られませんが、URLを共有した相手は入力値を見られます。無料・登録不要で使えます。
こんな場面で使える
- テスト設計走らせる前に「何人集めれば判定できるか」を確認し、判定不能なテストを避ける
- テスト期間の見積もり必要日数からテストのスケジュールを決め、関係者に説明する
- 目標の現実性チェック手持ちのトラフィックで検出できる改善幅の目安を逆算する
計算式・仕組みと根拠
- n(1群あたり) = (z(α/2)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² ÷ (p₂−p₁)²
- p̄ = (p₁+p₂)÷2。z(α/2)は有意水準、z(β)は検出力に対応する標準正規分布の値(例: 5%→1.96、80%→0.842)
- 所要日数 = 必要サンプル合計(2群分) ÷ 1日あたりの対象者数(端数切り上げ)
- 根拠: 2群の比率の差の検定(両側)に対する標準的なサンプルサイズ設計式です。
入力例と結果の読み方
現状CVR3%・改善後CVR4%(有意水準5%・検出力80%)と入力すると、必要サンプルは1パターンあたり5,301人、A/B合計で10,602人です。1日500人が対象なら所要日数は22日。「+1ポイントの改善を検出するには約3週間必要」と読み、それより早く打ち切るとたまたまの差を実力と誤認するリスクが高くなります。
よくある間違い
- サンプルサイズを決めずにテストを始め、良さそうに見えた時点で打ち切る(偽陽性の典型パターン)
- 検出したい改善幅を大きく見積もりすぎる(+1ポイントの半分の+0.5ポイントを検出するには約4倍のサンプルが必要)
- 相対の改善率(+10%改善)と絶対の改善幅(+1ポイント)を混同する(このツールは改善後のCVRを直接入力する方式)
境界条件・注意点
- 両側検定・2群への均等割り付けを前提としています
- CVRが0%または100%に極端に近い場合、正規近似の精度が下がります
- 計算上の日数が短くても、曜日変動をならすため最低1〜2週間は回すのが実務の定石です
よくある質問
必要サンプルサイズはどうやって計算していますか？
2群の比率の差の検定(両側)の標準式で計算しています。現状CVRと改善後CVRの差が小さいほど、また検出力・信頼水準を高くするほど必要サンプルは増えます。例えばCVR3%→4%の検出には1群5,301人が必要です。
検出力80%とはどういう意味ですか？
本当に差があるときに、その差を「統計的に有意」と検出できる確率が80%という意味です。Webのテストでは検出力80%・有意水準5%が標準的な設定で、見逃しをより減らしたい場合は検出力90%を選びます。
サンプルが集まらない場合はどうすればいいですか？
検出する改善幅を大きくする(ボタン色ではなく訴求全体など大胆な変更をテストする)、テスト期間を延ばす、テスト対象ページを広げる、の3つが現実的です。小さな改善幅を少ないサンプルで統計的に判定することはできません。
🔖 このツールをよく使う方は、ブックマーク(⌘D / Ctrl+D)しておくと次回すぐ開けます。