A/Bテスト有意差計算機＆必要サンプルサイズ

使い方

1. 「有意差の判定」に A（現状）と B（変更後）の訪問数と成約数を入力します。CVR・相対改善率・p 値・z 値・信頼区間が表示されます。
2. 信頼水準（90 / 95 / 99%）を選びます。判定文は「◯◯% 信頼水準で有意な差があります / あるとは言えません」の形で表示されます。
3. 「必要サンプルサイズ」に基準の CVR（%）と検出したい改善幅（相対 %）を入れ、有意水準と検出力を選ぶと、1群あたりの必要人数が出ます。1日の訪問数を入れると必要日数も分かります。
4. 「判定結果をコピー」「必要サンプルサイズをコピー」で、数値と前提をまとめてメモに残せます。

このツールについて

有意差の判定は、二標本の比率の z 検定（プールした比率を使う両側検定）です。A の成約率を p₁ = x₁/n₁、B を p₂ = x₂/n₂、プールした比率を p̄ = (x₁+x₂)/(n₁+n₂) として、z = (p₂ − p₁) ÷ √( p̄(1−p̄)(1/n₁ + 1/n₂) ) を求め、両側 p 値 = 2 × (1 − Φ(|z|)) を計算します。信頼水準 90 / 95 / 99% に対応する臨界値はそれぞれ z = 1.645 / 1.960 / 2.576 で、|z| がこれ以上なら「有意」と表示します。各群の CVR の信頼区間は Wilson スコア区間（95%）、差の信頼区間は Wald 法（p₂ − p₁ ± z·√( p₁(1−p₁)/n₁ + p₂(1−p₂)/n₂ )）です。

必要サンプルサイズ（1群あたり）は、基準 CVR p₁ と改善後の CVR p₂ = p₁ × (1 + 相対改善幅) に対して、n = ( z₁₋α/₂·√(2·p̄(1−p̄)) + z₁₋β·√(p₁(1−p₁)+p₂(1−p₂)) )² ÷ (p₁−p₂)²（p̄ = (p₁+p₂)/2）で計算し、小数点以下を切り上げます。たとえば p₁ = 5%、相対 +20%（p₂ = 6%）、α = 0.05（両側）、検出力 80% では 1 群あたり 8,158 人になります。

正規分布の累積分布関数 Φ は、|x| が小さい範囲では誤差関数のテイラー級数、大きい範囲では相補誤差関数の連分数展開で計算しています（倍精度で相対誤差おおむね 1e-13 以下）。分位点関数 Φ⁻¹ は Acklam の有理近似（相対誤差 1.15e-9）を初期値に Halley 法で 1 回補正しています。いずれも実装時に既知の値（Φ(1.96) = 0.97500、Φ⁻¹(0.975) = 1.95996 など）で検証しています。

この検定は、各訪問が独立で、テスト期間中に A/B の割り当てがランダムに行われていることを前提にしています。途中で何度も確認して有意になった時点で止める（ピーキング）、複数の指標やパターンを同時に比較する、といった運用では偽陽性が増えます。入力値はブラウザ内だけで計算され、保存も送信もしません。

よくある質問

Q. 「有意な差があるとは言えません」は「差がない」という意味ですか？

いいえ。このデータ量では、観測された差が偶然で生じた可能性を十分に小さくできなかった、という意味です。差の信頼区間が 0 をまたいでいる場合、改善しているかもしれないし悪化しているかもしれません。必要サンプルサイズまでデータを集めてから再判定してください。

Q. p 値はどう読めばよいですか？

「本当は A と B に差がない」と仮定したときに、今回観測した程度以上の差が偶然で生じる確率です。p = 0.03 なら 3% です。信頼水準 95% なら、p が 0.05 未満のときに有意と判定します。p 値は「B が優れている確率」ではありません。

Q. 片側検定には対応していますか？

現在は両側検定のみです。方向を事前に決めている場合でも、両側の p 値を使うと判定が保守的（有意になりにくい）になるだけなので、実務上は両側で問題ありません。

Q. 相対改善幅 20% は大きすぎますか？

検出したい幅は、「その改善なら実装・運用のコストに見合う」と言える最小の値にします。小さくするほど必要人数は大きく増え、たとえば 5% → 相対 +10% では +20% のおよそ 4 倍の人数が必要になります。自分のサイトの訪問数で現実的に集められる幅から逆算するのも一つの方法です。

Q. ベイズ統計の A/B テストとは違いますか？

違います。このツールは頻度論の z 検定です。ベイズ的な「B が A より良い確率」は計算していません。