2022-12-27Introduction企業活動、特にマーケティング領域においては、PDCAを高速に回し、より効率良くアクションするための研究と実行が日夜続いている。昨今ではデータの活用、業務フローのシステム化によって、さらに効率と精度を上げたPDCAを実現する企業も多くなった。一方で、膨大なデータからPDCAを回すためには専門知識や高い技術力が必要となる。同時に、正確な課題の認識、ビジネスとしての重要性も設計に組み込みながら構築する必要がある。アポロでは、マーケティングの現場でこのようなシステム導入〜実装までを行ってきた。今回は、アポロのデータサイエンティストである早川朝康に、手を動かす現場の声を聞いた。「PDCAサイクルとは、Plan(計画)-Do(実行)-Check(評価)-Act(改善)の頭文字をとったフレームワークの一つで、物事を効率良く、よりよいものにするためには欠かせない概念です。即時反映などが行われている。いったことが行われています。現在では計算機の発展や、会員プログラムの強力なシナジーにより、顧客データをデータベースとして蓄え、分析し、PDCAを回しています。」その中でも最も重要なことは、チェックの高度化と、データによって著しく向上した次へのアクションであると早川は言う。「これまで肌感覚だったものが定量評価に変わり、データが無かった時代に比べて、施策の効果とその変化を確実に把握できるようになりました。その一方で、データの収集や検証をする際に、常に気をつけなければならないのは『バイアス』なんです。先入観や偏見という意味の言葉です。「例えば、水が入ったコップを見て、コップの中身はいっぱいだという表現はバイアスです。人を介した主観だけでは、いっぱいという言葉の意味が、コップの8割なのか、それともフチぎりぎりまで満たされているのかは、それぞれの感じ方やシチュエーションによって変わります。」ほかにも次のような例が考えられる。中身が見えない袋に、ボールがたくさん入っていることを思い浮かべてみてください。その袋に手を入れ、ボールをいくつか取ったところ、出てきたのはすべて赤色でした。この情報を知った多くの人は、袋の中身は全部赤色であると確信、または期待をする。実際には、袋には赤だけでなく、青や黄色など、他の色のボールがあるかもしれないのだ。「これはセレクションバイアスと呼ばれる、選んだものが特定の偏りを持つことで生まれるバイアスの一種です。このように私たちの認知や行動はバイアスによって、事実を曲解してしまったり、それによって行動も変わる可能性があります。「だからこそデータサイエンティストとしては、データを扱う際には、様々なバイアスを取り除き、偏見がない、誰がどう見てもそう思える効果検証をしないといけません。することで初めて、これまで効果があると思って取り組んできたマーケティング施策について変更する勇気が持てない、変えることについて上長を説得できないというマーケ―ターに対して、”変えないことを否定する根拠”を、偏見のないデータ分析結果をもとに自信を持って提言できるようになってもららうことができ、実際に効果的なPDCAサイクルを回すことができるのです。”同じ”対象に全く”同じ”処理をし全く”同じ”方法で観測し全く”同じ”方法で検証し全く”同じ”に検証することが必要になる。この”同じ”を作る各ステップで、常にバイアスが生じてしまうと早川は説明する。「例えば販売促進のためにクーポンを配るとして、その配る対象を全く同じにすることはできません。誰一人として全てが同じ人はいないからです。」だからこそ、できる限り似た属性の人をさがし、クーポンを配る対象・配らない対象を絞り込むことが重要なのだ。「時間や時期をずらして同じ対象者にクーポンを配ったとしても、初めてクーポンをもらった対象者と、1度クーポンを使用した対象者では、属性が変化して同じ対象とは言えなくなってしまいます。他にも、“全く同じ”という処理についても考えてみよう。クーポンを配るグループ(A)と、配らないグループ(B)に分けると仮定する。「このような検証の仕方はABテストと呼ばれますが、ここにも罠が潜んでいます。配る・配らないがすでに同じものではない以上、『配らない』という事象がBグループに影響を及ぼす可能性があるからです。「B1はクーポンがあることを知っているため、それを持っていないにも関わらず買う、という選択がしづらくなります。クーポンを誰にも配らなかった時に比べ、B1の売上が落ちてしまう可能性が生まれるのです。真に正しく比較するためには、まずBの中で、Aにクーポンを配ったときに、B1とB2の変化が同じであることを担保し、そのうえでAとBの比較をすることで、初めてクーポンの効果を検証ができると早川は語った。上述した例で、B1とB2の変化が無いと仮定することを『並行トレンド仮定』と呼ぶ。効果検証では、その並行トレンドを常に担保することがとても重要なファクターだ。実務でいかに並行トレンドを保証するか果たしてB1とB2をどのように見分け、クーポンを配らないBグループの並行トレンドを保証するのか。「B1=B2となる集団を結果から選べば因果関係が逆になり、セレクションバイアスがかかります。いって事前にアンケートを取るようなアクションを取っても、Bが介入される状態になってしまい、正確な検証が行えません。」それでも、介入されない比較対象グループを事前に用意できる場合は、まだいい方だ。「実務ではABテストの実施すらできないケースがあり、そういった際に、どのような検証が行えるのかを私たちは常に考えなければなりません。これまでの課題に対して唯一の答えはありませんが、統計学や機械学習を用いることで、ある程度解決できる場合もあります。本記事では、効果検証を正しく行うためには、いかにバイアスを除き、比較がしやすいデータを用意することの重要性について説明した。次回は、実際の現場で効果検証を行う際の手法や、その応用法を詳しく紹介する。数学的センスを武器に、分析モデル設計、実装をリードしている。プロジェクト事例紹介Introduction前回の記事では、効果検証の際にはバイアスをいかに取り除き、反実仮想※を作るために並行トレンドを担保する必要があるという話をした。プロジェクト事例紹介アポロのプロジェクト事例をご紹介します。