A/B テスト

面接ではこう答える 読み上げ

A/B テストは、ユーザーをランダムに2つの群に分け、今のままの A と新しい案の B で指標を比べる方法です。ランダムに分けるので、差が出ればその施策の効果だと言いやすくなります。見るべきは差の有無だけではなく、偶然でも出る程度の差ではないか、指標と期間は事前に決めたとおりか、副作用は出ていないか、です。私は始める前にこれらを1枚に書いてチームで合意するようにしています。

面接ではこう答える 読み上げ

有意差があるというのは、本当は差がないとしたら、偶然これくらいの差が出る確率である p 値が十分小さい、という意味で、よく 5% を基準にします。有意だからといって差が大きいとは限らず、有意でないからといって効果がないとも限りません。人数が足りなかっただけのこともあります。私は p 値だけでなく、差の推定の幅を見て、その差が事業として意味のある大きさかを判断します。

面接ではこう答える 読み上げ

A/B テストに必要な人数は、見分けたい差の大きさで決まり、差を半分にするとおよそ4倍の人数が要ります。計算はデータ担当に頼みますが、どれくらいの差なら事業として意味があるかを決めるのは PdM です。期間は必要な人数が集まるまでで、曜日の差をならすために最低でも1〜2週間は回します。人数が足りないときは、大きな差を狙う案にするか、テスト以外の方法で判断します。

面接ではこう答える 読み上げ

A/B テストでは、始める前に判断に使う指標を1つ決め、それとは別に悪化してはいけないガードレール指標を決めます。後からたくさんの指標を見ると、偶然よく見えるものが必ず出てくるからです。私は仮説・主要指標・ガードレール・見分けたい差と期間・判断のルールを計画書1枚にまとめ、エンジニアとデータ担当と合意してから始めます。

面接ではこう答える 読み上げ

施策を出した後に数字が上がっても、季節やキャンペーン、ほかのリリースが同時に効いているかもしれないので、それだけでは効果とは言えません。相関と因果は違うということです。A/B テストができないときは、地域や時期で分けて出す、去年の同じ時期と比べる、などで補います。また、機能を使った人と使わなかった人を比べるのは、もともと熱心な人が使っているだけのことが多いので、特に注意しています。