AB TEST CALCULATOR
その差、確かな差？
ABテスト有意差チェッカー/最大4パターンのCVRを比較
ブラウザ内で計算01
テスト結果を入力
Aを基準に、各パターンの訪問数とCV数を入力してください。
通常は95%で判定します
AとBの差を、両側検定で判定します。
訪問数は重複のない対象者数、CV数はそのうち成果を達成した人数を入力してください（1人1CV）。
02
入力に合わせて更新判定結果
03
95%信頼区間CVRとばらつきの目安
点は実測CVR、横線は信頼区間です。区間の重なりだけで有意差は判断できません。
計算方法と結果の読み方
何を「有意差」としている？
「本当のCVRに差がない」と仮定したとき、今回と同程度以上の差が出る確率をp値で表します。選択した有意水準以下なら「有意差あり」と判定します。p値は、パターンが勝つ確率ではありません。
Aを基準とした比較です
A対B、A対C、A対Dを比較します。3〜4パターンではHolm法でp値を補正し、複数回の比較による誤判定を抑えます。B・C・D同士の優劣や、全パターンの最良案は判定しません。
計算に使用する方法
原則は2標本の比率のZ検定（両側・連続性補正なし）。2×2表の期待度数が1つでも5未満なら、Fisherの正確確率検定（両側）に自動で切り替えます。CVRの信頼区間にはWilson法を使います。信頼区間は個別の推定範囲で、多重比較補正はしていません。
同じ期間・同じ条件で比較を
対象者をランダムに振り分け、期間と成果の定義を揃えてください。「有意差なし」は「同じ効果」の証明ではありません。終了日や必要人数を先に決め、有意差が出るまで毎日確認して途中終了する使い方は避けてください。