2022/01/06こんにちは!バンダイナムコネクサスのデータ戦略部でデータサイエンティストをしている原です。データ戦略部ではグループ内事業の意思決定に貢献するために、様々な分析PJTを進めています。これまでに自動分析ダッシュボードPJTやアプリDL数予測PJTの紹介をしてきましたが、今回は別の分析PJTである「ゲーム事業とライブ事業の横断分析(以下横断分析)」について紹介します。横断分析とは?あるスマートフォンゲームタイトル内の消費行動がオンラインライブイベント参加後にどう変化したかを定量的に分析する事を指しています。スマートフォンゲームとオンラインライブイベントという2つの事業を横断して分析を行っている事から、「横断分析」という名称になっています。(知的財産)のファンの皆様と一緒にIPや商品を盛り上げていくPJT(以下ファンゲージPJT)というものがあります。(ファンゲージPJTの詳細はこちらをご参考下さい)IPの盛り上がりを測る手段は色々考えられますが、ライブイベントのようなファンのエンゲージメントを高める取り組みが購買行動に与えた影響を調べる方法も有力な手段と考えています。下記図のように「1ライブ参加者」、「2ライブ不参加者」のユーザー1人1人に対して反実仮想を計算し、反実仮想におけるLIVE後消費額と実際のLIVE後消費額の差をLIVE効果と定義しました。手順で分析を実施しました。(Meta-Learner系手法であるX-Learnerをベースにしています)まずゲームユーザーを学習データとして「1ライブ参加有無の予測モデル」を構築し、その予測モデルを用いてライブ不参加者の中から非介入群の抽出を行います。ライブ参加者全体を介入群として抽出します。(この抽出方法にした理由については後述します)次に「条件付き処置効果予測モデル」を構築する下準備として、介入群に対して「2介入群に対する目的変数予測モデル」を構築し、非介入群に対して「2非介入群に対する目的変数予測モデル」を構築します(目的変数はライブ後消費率にしています)そして2で構築した予測モデルを用いて「3介入/非介入群だった場合の条件付き処置効果予測モデル」を構築します。介入群に対して「2非介入群に対する目的変数予測モデル」を用いる事で「仮に非介入群だった場合の目的変数」を計算し、実際の目的変数(介入群としての目的変数)との差を計算する事で、「介入群だった場合の条件付き処置効果」を求めます。同様に「非介入群だった場合の条件付き処置効果」を求めます。この「介入群/非介入群だった場合の条件付き処置効果」を介入群/非介入群それぞれを学習データとして予測したモデルが3になります。介入群と非介入群のそれぞれに対して、「3非介入群だった場合の処置効果予測モデル」と「3介入群だった場合の処置効果予測モデル」を構築します。この2つのモデルを用いて、ユーザー1人1人に対して「3非介入群だった場合の目的変数の変化量」と「3介入群だった場合の目的変数の変化量」を計算します。(以下ATE)としました。前述の分析手法を考える上で技術的に工夫した点についても紹介します。前提として今回のデータには以下3つの特徴がありました。・ライブ参加者よりライブ不参加者の方が圧倒的に多いので、不均衡データとなっていた。・ライブ不参加者にはライトユーザーが多いので、ライブ不参加者の中から非介入群を無作為抽出すると、介入群と非介入群の間で処置以外の差が大きくなってしまう。・オフラインライブイベントのようにライブチケット抽選申し込み者という母集団が存在しない。この2つの特徴に対処するため、下記図のように「ライブ不参加者の中でライブ参加確率が高いと分類されたユーザーのみを非介入群」としました。反実仮想機械学習を利用したのか?次に反実仮想機械学習を用いた理由について説明したいと思います。今回の分析テーマである「ライブ参加有無によるゲーム内消費行動の違い」を把握するための方法として、下記図のように「1ライブ参加者」、「2潜在的ライブ参加者」のゲーム内消費金額の差を計算するという方法もあります。この方法では、ライブ参加有無以外の他の要素(バイアス)も混ざってしまうので、ライブ効果を厳密に測定する事が出来ません。用いて計算した分析結果は以下図のようになりました。反実仮想機械学習の結果を利用して「購買率の上昇効果(ATE)」をユーザーセグメント毎に計算しました。※こちらは実際の数値ではありませんが、本稿ではこの数値を基に説明させて頂きます全体の購買率が5.0pt上昇している事から、ライブイベント参加がゲーム内で購買行動を影響を与えている事がわかります。非購買ユーザーの購買率が4.6pt上昇している点が特徴的で、ライブイベント参加がゲーム内の購買行動のきっかけになったケースもある事がわかりました。実際の数値はお見せ出来ないのですが、「購買率の上昇効果(ATE)」を用いて「ライブ参加によるゲーム内消費金額の増分」と「ライブ参加による消費金額増加の最大ポテンシャル」も計算し、ビジネス的なポテンシャルがある事もわかりました。これらの分析結果をまとめると「IPファンがライブ参加することにより、ゲームへも好影響を与える」というメッセージになります。現在、分析チームとゲーム事業とライブ事業が連携しながら、IPファンの方々に、ゲームだけでなくライブも楽しんでいただきIPを盛り上げていくための様々な施策を検討、実施しています。さいごに横断分析PJTの紹介は以上になります。データ分析のキャリアをHR領域のデータサイエンティストから開始(2015年〜)。次のLINE株式会社ではデータアナリストを経験。blogバンダイナムコネクサスの機械学習系テックブログのスペースです。拓自さんや会社があなたに興味を持つかも。