「その施策は“本当に”効果があったのか？」に答えたい
「このキャンペーンを実施した効果で売上が上がりました！」という報告は、マーケターなら誰でも一度は行ったことがあるだろう。効果が数字に表れてくることはマーケター冥利に尽きる瞬間である。しかし、疑い深い上司から「キャンペーンをやらなくても、このお客さまは買っていたんじゃないの？追い銭になっていたのでは？」と指摘されると、途端に不安になってしまったこともあるのではないだろうか。
最近ではこうした事態を防ぐためA/Bテストを行い、その結果（効果の差分）をもって効果があったか否かを判断することも増えてきた。A/Bテストは極めて説得力の高い効果測定手法であるが*1 、例えば図1のように全体では効果がないように見えても、男女別で集計してみると男性にだけは効果があり、女性には逆という場合もある。相殺されて全体では効果がないように見えているだけかもしれないことがあるので、注意深く結果を見なければならない。
image1
To return to the previous page, click on the part of the window where the image is not displayed, or press the close button.
このように、マーケティング施策が「本当に」効果があったのか、追い銭になっていないのか、仮に効果があったとすればどのセグメントに刺さったのかを明らかにすることは、マーケター自身の関心のみならず、限りあるマーケティング資源（予算、労力）を有効に使う上でも重要なことである。
マーケティング施策の効果を明らかにするアップリフトモデル
私自身も前職時代に同様の悩みを抱えたことがある。その時の解決策として“アップリフトモデル”という手法を利用したので紹介しよう。これはランダムに割り振られたA群（キャンペーン実施群）とB群（キャンペーン非実施群）の多変量データ（図2。要はA/Bテストの結果データ）から、キャンペーンの効果の差分（アップリフト）が大きくなるセグメントを抽出する手法である*2。あるキャンペーンを実施した結果のデータから、「キャンペーンの実施・非実施」「効果あり・なし」の2軸で分類すると、図3のような4分類になるが、特にマーケティング上重要になるのはこの中の「説得可能」と呼ばれるセグメントを探し出すことである。多くの場合、キャンペーンをしてもしなくても購入する「テッパン」層にマーケティング予算を投下してしまい、「追い銭」と非難されてしまうのである。アップリフトモデルはA/Bテストの結果から、本当に価値のある「説得可能」と、無意味な「テッパン」「あまのじゃく」「無関心」※3 を識別できる点が、他の手法にない強みなのだ※4。
image2
To return to the previous page, click on the part of the window where the image is not displayed, or press the close button.
図3
To return to the previous page, click on the part of the window where the image is not displayed, or press the close button.
例えば、30代男性で過去にメルマガを1回以上開封していたセグメントを取った場合、キャンペーンを実施しなかった群では購入率が3%だったのに対し、実施した群では購入率が15%と5倍も高くなっている、というようなセグメントを見つけるものだ。購入率が仮に30%と高いセグメントであったとしても、そのセグメントはキャンペーンをやってもやらなくてもいずれもほぼ30%であったならば、アップリフトモデルでは効果の薄い層という扱いになる。通常の決定木分析などでは、購入率の絶対値が高いセグメントを探し出すが、アップリフトモデルでは必ずしも絶対値は重要ではなく、やった場合とやらなかった場合の差分が大きいセグメントを見つけるのである。この手法を適用することで、後付け的ではあるが、「キャンペーンをやらなければ買わなかった（だろう）が、キャンペーンをやれば買った（であろう）セグメント」を推定することができるので、まさにマーケターにとっては夢の分析手法と言えるだろう。
「集まるデータ」からでもアップリフトモデルは適用できる
今回の解説ではわかりやすいようにA/Bテストの結果のデータ（いわゆる「集めるデータ」）を用いたが、手元にすでにある「集まるデータ」を使っても同様の分析は可能である。例えば、キャンペーンをある一定期間していたとすれば、していた期間としていなかった期間のデータを使えば同様の分析が可能であるし、あるエリアのみで試験的にキャンペーンをしていた場合でも、キャンペーンをしていたエリアとしていなかったエリアのデータを使うことができる※5 。さらに分析だけではなく施策にもダイレクトに反映させるべく、最近では「アップリフトしそうな人だけに」クーポンを発行するツールも登場してきている※6 。
アップリフトモデルは、「本当に必要な人にだけ訴求を行う」という究極のターゲティングを可能にし、その根底にある思想の汎用性から、マーケティング施策には欠かせないツールとなっていくだろう。
※1：両群をランダムに振り分けキャンペーン以外の介入の差を作らないように適切に行うことが重要。
※2：アップリフトモデルについては、『ヤバイ予測学』（エリック・シーゲル 2013）第7章や、『仕事ではじめる機械学習』（有賀ほか 2018）第9章で紹介されている。なお本稿ではキャンペーン実施・非実施を例に挙げたが、キャンペーンに限らずDMやメルマガの送付有無、広告の掲出有無、クーポン付与の有無など、あらゆるマーケティング施策の介入でも同様に適用可能。
※3：マーケティングの目的によっては「あまのじゃく」を探し出すこともあり、「説得可能」以外が無意味とは一概には言えない。
※4：図2のようにアップリフトモデルの結果をわかりやすいようにツリー形式で表示するアウトプットは、DATUM STUDIO株式会社によるオリジナルの開発である。
※5：ただしキャンペーンを実施していた期間としていなかった期間の季節変動がないことや、キャンペーンを実施していたエリアとしていなかったエリアでの属性の違いがないことが前提条件となる。
※6：同じアップリフトの考え方を使ったツールの例としてTrue Growthというサービスがある（使われているアルゴリズムは本稿での説明と異なる）。
2002年に日本航空株式会社に入社。JALホームページのログ解析や顧客情報分析、航空券などのレコメンド施策の立案・企画・実施を担当。2014年、日経情報ストラテジー誌による「データサイエンティスト・オブ・ザ・イヤー」受賞。2019年より現職、デジタルガレージグループでのデータ活用を統括・推進する。ビジネスアナリティクスや実務に役立つ分析手法に詳しく、データを使ったマーケティングを得意とする。総務省統計局講座や大学での講演・記事掲載など多数。
お客さまの課題・ニーズを伺ってリサーチの企画・提案を行います。
お気軽にお問い合わせください。
