A/Bテストとは?
A/Bテストとは、WebページやメールをA案・B案の2パターン用意し、ランダムに出し分けて成果(CVRなど)を比較する検証手法のこと。感覚や役職ではなく、データで施策の良し悪しを決めるための標準的な方法です。
実務での使い方
正しく行うには、①同時期にランダムに出し分ける(時期をずらした比較はNG)②必要なサンプルサイズを事前に計算する③統計的有意差(通常p<0.05)で判定する、の3つが必須です。差が出たように見えても偶然の範囲であることは頻繁にあります。
必要サンプル数は「現状のCVR」と「検出したい改善幅」で決まります。CVR 2%のページで相対20%の改善(2.0→2.4%)を検出するには1パターンあたり約2万セッションが必要で、トラフィックが少ないサイトでは大きな変更をテストするのが現実的です。
この用語に関連する無料ツール
もっと詳しく学ぶ
- A/Bテストに必要なサンプルサイズは？計算式・早見表と期間の決め方
A/Bテストの必要サンプルサイズの計算方法を解説。CVR3%の場合の早見表、有意水準・検出力の意味、テスト期間の決め方、途中で打ち切ってはいけない理由まで実務目…
- CTVRとは？計算式とCTR・CVRを分解して改善する実務手順
CTVR(=CTR×CVR)は広告表示からCVまでの総合効率を示す指標です。計算式と数値例、CTR・CVRどちらを直すべきかの切り分け基準、クリエイティブテスト…