こんにちは。
相馬一進（そうまかずゆき）です。
私は今まで、ABテストを推奨し続けてきました。
ご参考：経営とはABテストである
ただし、このABテストにも
「3つの欠点」があると感じています。
今日はそれをご紹介しようと思います。
欠点1.ABテストだけで改善するのは大変
ABテストをすれば、少しずつですが確実に
セールスコピーやチラシなどの出来が100%に近づきます。
ただし、それには途方もない時間がかかります。
私のおすすめは、まず既存の成功例をマネして、
8割の段階までは到達しましょう。
ABテストをしながら改善をしていくのは、
8割に到達した後でいいのです。
欠点2.統計学の知識がないと無理
簡単なクイズです。
Aのチラシが10人中2人に売れて、
Bのチラシが10人中１人しか売れなかったとします。
このとき、AのチラシとBのチラシ、
どちらの方が良いといえるでしょうか？
答えは、これだけではわかりません（笑）。
なぜなら、10人という数字が小さすぎて、
統計的な判断ができないからです。
つまり、もっと多くの人にそのチラシをまいたら、
実はBの方が反応がとれるかもしれないのです。
統計学に詳しくないと、何件の成約があった時点で
「統計的に有意」かどうかがわからないのです。
欠点3.ある程度のPV数や見込み客数が必要
ABテストをするためには、その前提として、
ある程度のPV数や、見込み客数が必要になります。
欠点2とも関連するのですが、
ある程度の分母がないと、統計的に有意な量の
データが集まらないからです。
たとえば、弊社は毎週ABテストしていますが、
そんなことができるのは、毎日数万人が見に来る
「ビジネス心理学」というブログがあるからです。
もし、これだけのPVを広告で集めようとしたら
月に何百万円という広告費が必要でしょうね。
ということで、ABテストは良い方法ですが、
欠点の部分を理解していないと、意味がないのです。
特に初心者にはむずかしいかもしれないですね。
