A/Bテスト有意差判定ツール
「A/BテストでBが良さそうだけど、信じていい？」を判定する無料ツール。A/B各案の人数とCV数を入れるだけで、CVRの差が本物か偶然の誤差かを統計判定(z検定・p値)し、上司にそのまま出せる報告文も自動生成します。
- 登録・ログイン不要
- 無料
- 入力値をサーバーに送信しません
A案とB案の人数と成果数を入れると、差が本物か誤差かを1文で判定します
①〜④を入れると、差が取りうる幅を描きます。その幅が0をまたぐかどうかが判定そのものです。
参考 — AとBそれぞれの成果率(CVR)
信頼区間のくわしい読み方開く ＋
95%信頼区間は「本当の成果率はこのあたりに収まっていそう」という幅です。人数が少ないほど幅は広くなります。
①〜④を入れると、AとBの区間の重なりを判定します。
①〜④を入れると、判定に必要な残り人数(または切り替えたときの成果の差)を出します。
報告用テキスト — 上司・クライアントにそのまま貼れます開く ＋
判定は有意水準5%・両側検定です。目安として各案のCVが30件以上たまってから判定を。テストを始める前の必要人数はサンプルサイズ計算ツールで。入力値は外部に送信されません。
A/Bテストの結果(見せた人数と成果の数)を入れるだけで、AとBの差が「本物の差」か「たまたまの誤差」かを判定します。
入力内容はブラウザ内だけで計算・保存され、サーバーには送信されません。「条件のURL」も入力値を#以降に載せるためサーバーへは送られませんが、URLを共有した相手は入力値を見られます。無料・登録不要で使えます。
使い方
- まず例ボタン(有意差あり(Bの勝ち) / 誤差の範囲(人数不足) / 有意差あり(Bで悪化))を押すと、判定結果の見え方がつかめる
- ①②にA案(今の案)、③④にB案(新しい案)の人数とCV数を入れる
- 判定(本物の差か・まだ誤差か)と次のアクションを確認し、報告文をコピーする
USE CASESこんな場面で使える
- LP・広告のA/Bテスト判定「良さそう」を統計的に確認する
- テスト終了の判断有意になるまで回すか打ち切るかを決める
- 上司・クライアントへの報告「95%水準で有意」と根拠つきで説明する
FORMULA計算式・仕組みと根拠
- z = (CVR_B − CVR_A) ÷ 標準誤差(標準誤差 = √( p̄(1−p̄) × (1/n_A + 1/n_B) )、p̄は両群合算のCVR)
- p値 = 「本当は差がない」と仮定したとき、今回以上に極端な差が観測される確率(両側検定)。p < 0.05 で95%水準の有意と判定
- 根拠: 2群の比率の差に対するz検定は、A/Bテストの判定で最も広く使われる標準的な統計手法です。
EXAMPLE入力例と結果の読み方
Aが5,000訪問で100CV、Bが5,000訪問で130CVなら、いちばん上の「差(B−A)の信頼区間」が +0.01pt 〜 +1.19pt と描かれ、まるごと0より右にあることが見えます(この0またぎが判定そのものです。下段にはAとBそれぞれのCVR 2.00%・2.60%を参考に並べています)。z値は約2.00・p値は約0.045。「差がない」と仮定した場合にこれ以上の差が出る確率が4.5%と小さいため、95%水準で統計的に有意と判定されます。逆にp値が0.2なら、+30%の差があるように見えてもまだ偶然で説明できる範囲、と読みます。統計的に有意でも、改善幅が実務的に意味のある大きさかは別途判断してください。
PITFALLSよくある間違い
- テスト途中で何度も結果を見て、有意になった瞬間に打ち切る(偽陽性が急増する「ピーキング」)
- 「有意差なし」を「効果なし」と結論する(サンプル不足で検出できていないだけの可能性)
- 3パターン以上を同時に比較し、それぞれをp<0.05で判定する(多重検定で誤判定率が上がる)
NOTES境界条件・注意点
- 両側検定・有意水準5%が基準です(p<0.10は「傾向あり」として参考表示)
- CVR(比率)専用です。客単価・滞在時間など平均値の比較にはt検定など別の手法が必要です
- 目安として各パターンのCVが30件以上たまってから判定してください。CV数が訪問数を超える入力はエラーになります
A/Bテストの「有意差」とは(結果を信じてよいかの物差し)
A/Bテストで「BのほうがCVRが高かった」としても、それだけでは切り替えの根拠になりません。 コインを10回投げて表が6回出るように、まったく同じ実力でも数字には偶然の差が出るからです。 そこで統計では「AとBに本当は差がない」と仮定して、今回以上の差が偶然で出る確率(p値)を計算します。 この確率が5%より小さければ「偶然とは考えにくい=統計的に有意(本物の差)」と判定するのが、世界共通のルールです。
同じCVRの差でも、人数によって判定は変わる(だから人数が重要)
どちらもCVRはA 2.0%・B 2.6%(+0.6ポイント)で同じ。それでも5,000人ずつ集めたテストは「偶然でこの差が出る確率4.5%」で 本物の差と判定でき、1,000人ずつでは37%(3回に1回は偶然で起きる)で判定できません。点線が判定ライン(5%)です。 だからテストは、必要なサンプル数(人数)を先に決めてから始めます。
A/Bテスト判定のアンチパターン表
A/Bテストで最も多い失敗は、計算ミスではなく「判定のルール違反」です。 結果が信用できなくなる典型パターンを押さえてください。
| アンチパターン | 何が起きるか | 正しいやり方 |
|---|---|---|
| 有意になった瞬間に打ち切る | 偶然の山を拾う(何度も覗くほど誤判定率が上がる) | 必要サンプル数と期間を先に決め、達してから判定する |
| 期間が短すぎる | 曜日・給料日などの周期変動が混入する | 最低でも1〜2週間、曜日を一周させる |
| 同時に多数のパターンを比較 | 比較の数だけ「偶然の勝者」が出やすくなる | パターンを絞る。多数比較するなら判定基準を厳しくする |
| セグメントを後から掘る | 「20代女性では有意」のような偶然の発見を量産する | 検証したい仮説とセグメントは事前に決める |
| 負けたテストを記録しない | 同じ失敗を別の担当者が繰り返す | 勝敗にかかわらず結果と学びを台帳に残す |
判定結果の読み方
右端のボタンを押すと、その判定になる数字が①〜④に入り、信頼区間の見え方を確かめられます。
| 結果 | 意味 | 次のアクション | この結果で試す |
|---|---|---|---|
| 有意差あり(勝ち) | 偶然では説明しにくい差がある | 勝ちパターンに切り替え、改善幅を記録する | |
| 有意差あり(負け) | 変更が悪化を招いた可能性が高い | 元に戻す。仮説のどこが外れたかを言語化する | |
| 有意差なし | 「差がない」ではなく「差があるとは言えない」 | サンプル不足なら継続。十分なら差は小さいと判断して次の施策へ |
テスト開始前の必要サンプル数はA/Bテスト サンプルサイズ計算ツールで確認してください。 統計の考え方はA/Bテストとサンプルサイズの記事で、 用語の定義は用語集のファネル(CVR)で解説しています。
FAQよくある質問
有意差はどう判定していますか？
2群の比率の差のz検定(両側)です。両群を合わせたCVRから標準誤差とz値を計算し、p値が0.05未満なら95%水準で有意と判定します。
p値とは何ですか？
「本当は差がない」と仮定した場合に、今回以上に極端な差が観測される確率です。p=0.045なら、差がないのにこの結果が出ることは4.5%しか起こらないため、5%有意水準では「偶然とは考えにくい」と判定します。なお、p値は「差が本物である確率」そのものではない点に注意してください。
サンプルはどのくらい必要ですか？
目安として各パターンでCVが30件以上たまってから判定してください。CVRの差が小さいほど、有意差の検出に必要なサンプルは増えます。