ABテストの具体的な手順についてお話してゆきましょう。
ステップ１：何が欲しいのか
まずインセンティブを導入することによって改善したい、全社ベースでの数字を決めます。売上高なのか利益なのか、新規顧客数なのか総顧客数なのかというようなことです。
ステップ２：何をテストするか
次に今回のテストで試すことを決めます。「何に対して歩合を払うか」なのか「歩合の率は何％にするか」なのか「基本給を減らして歩合を増やしてはどうか」なのかということです。1度のテストでは一つのことしか試せません。
テストする段階で未定のこと、たとえば歩合の率を何％にするかなどは、暫定的な数字を使います。一度決めた歩合の率は下げられないと言いましたが、テストであると断ってやる場合は例外です。
ステップ３：判断基準を決める
A案とB案の優劣を何で判断するかも決めます。営業利益が欲しいならば、歩合1円当たりの営業利益で、売上高が欲しいならば、歩合1円あたりの売上高で判断します。
ステップ４：候補案を出す
実験で試すべき候補案を出します。
欲しい物が営業利益であり、今回は「何に対して歩合を払うか」をテストすることにしたとします。その場合、営業利益はパーソン個別に算出できませんから、個別に算出でき、かつ営業利益に最も近い、マルチコストで算出した利益（粗利益から輸送費や旅費交通費など、会社独自に決めたコストを引いたあとに残る利益）がまず候補になるでしょう。しかしマルチコストは複雑で、パーソンが反応しない可能性があります。よりわかりやすい、粗利益に対して払うという案も候補になります。粗利益よりさらにわかりやすい、売上という案も候補になりえます。
候補案を出すとき、案の数は制限しません。思いつく限りのものを出します。
ステップ５：影響を予測する
インセンティブを導入した場合に生ずるであろう影響について予測します。営業パーソン間、あるいは営業パーソンとそうでない社員との間に報酬格差が生るのではないか、パーソン間で条件的に有利不利があるのではないか、パーソンの収入が季節によって大きく変動するのではないか、このような影響について予測しておきます。
ステップ６：優先順位を決める
ステップ３で思いつくままに候補案を出しましたが、すべてを試すことは無理です。予算や時間を考慮して、実際にテストすべき案を絞り込みます。
影響の優先順位も決めます。会社に最も多くの利益をもたらす案は、営業パーソン間の賃金格差を助長するものであったり、季節変動が大きいものであったりするかもしれません。その場合もやはり利益優先なのか、どこまでの格差や季節変動なら容認するのかということを事前に決めておきます。
ステップ７：実験する
いよいよ実験をします。一方のグループにはA案、もう一方のグループにはB案を、同時進行で試して結果を比較します。
メンバーの選び方には恣意性が入らないようにします。コイン投げでもやって、営業パーソンを２班に分けます。そして１班は奇数月にA案、偶数月にB案、２班はその逆というようにテストします。
ステップ８：検定する
最後に実験結果を検定します。
「1年続けてみて、A案がB案の倍の効果（歩合1円あたり営業利益）があった」という結果が出たとしたら、何度やってもA案が勝つと考えるのが妥当です。しかし「２か月試してみて、A案がB案より１％大きい効果があった」くらいでA案が優れていると判断するのは危険です。別の機会に実験をしたら逆の結果が出る可能性が多分にあります。
偶然と考えるべきでない差のことを「有意差」といい、これがあるかどうかを確かめることを「検定」といいます。有意の差が出た時点で、あるいはもともと有意差がないと結論づけられた時点でそのテストは終了します。
検定が唯一、ABテストでやや専門的な知識を必要とする部分です。ここで説明する紙幅はありませんが、統計学の入門的な本を読めばわかることです。
２つ以上の候補案があるとき、たとえば4つの候補案があるときは、４案すべてを同時にテストしません。4つの案の条件をそろえることが困難だからです。そういう場合はA案対B案、C案対D案・・・というように、あくまで1対1でテストし、トーナメント方式で最後まで残った案を採用します。
ABテストのステップ
| ステップ | 例 |
|
１. 改善したい数字を決める |
売上高、営業利益、新規顧客獲得数、・・・ |
|
２. 実験する内容を決める |
何に対して歩合を払うか、歩合の率は何％にするか、基本給対歩合の割合・・・ |
| ３. 優劣を判断する基準を決める | 歩合１円あたりの営業利益、同売上高、・・・ |
| ４. 候補案を出す | マルチコスト利益に対して払う、粗利益に対して払う、売上に対して払う、・・・ |
| ５. 影響を予測する | 報酬格差の拡大、報酬の季節変動、・・・ |
| ６. 実験すべき候補案を絞り込む | 賛成者が多い上位20％の案に絞る |
| ７. 実験する |
A案対B案、C案対D案、・・・ |
| ８. 結果を検定する | 有意差が現れるまで実験を繰り返す |