Night〜3社3様分析基盤の変遷〜が開催されました。さんよりお話頂きました。さん)にもご登壇頂き、定員80名を大きく上回る273名の応募となり、大盛況となりました。新しいデータ価値とビジネスを創出するビッグデータ分析基盤(前編)データ分析基盤をつくるための開発事例をご紹介致します。マクロミルについて業界での立ち位置は?マクロミルは2000年に創業し、現在はグローバルの拠点を含めると2,200名ほどが在籍しています。マーケティングリサーチ会社の中では世界で一番高い成長率を誇っています。オンラインの調査では国内でシェアNo.1の実績を持っており、世界13か国で9000万人のパネルネットワークを保持しています。消費者からアンケートや行動データを取得することでそれらのデータを集計・分析しそれを事業会社に提供するのが弊社のビジネスモデルです。具体的には以下のようなリサーチサービスがあります。インターネットインターネットを活用した消費者の声を拾い上げるアンケート調査や、市場調査。ネットリサーチ国内実績No.1。調査課題やテーマに応じて定性調査をサポート。グローバル欧米・アジア・オセアニアはもちろん、中東や南米も含め、16カ国・40以上の現地法人を拠点に世界90カ国・11,000万人以上のネットワークで調査が可能。多様なデジタルマーケティング施策の効果測定を実現。ターゲティングして調査が可能。無料でセルフでリサーチが行えるWebサービス。定量・定性の調査が可能。マクロミルのコアバリューとは?まずは海外拠点も含めた、パネルデータとマーケティングデータの規模があります。それを分析し、企業のマーケティング課題に応えていくAnalyticsの力、そしてテクノロジーの力です。マクロミルはマーケティングリサーチの会社のイメージが強いですが、実はITにも相当なこだわりを持っています。マクロミルで取り扱っているサービスはすべて自社企画・開発を行っており、ITの力で、弊社のマーケティングソリューションを支えています。特化している部署になります。データ分析基盤構築の背景なぜデータ分析基盤構築を行うことになったのか?上記リサーチサービスは当初からあったものではなく、2000年創業以来徐々に増えてきたものです。それぞれサービス毎に蓄積してきた様々なデータがありましたが、そのデータの有効活用はまだまだ発展途上でした。ビジネス拡大のためにはそれらのデータの有効活用が必要な状況でした。『データからインサイトを得るための環境』の整備が急務となり以下の2点をゴールとしてデータ分析基盤構築に至りました。近年の新しいサービスは保有データ量が多いというシステム的側面がありました。各システム開発部門にデータ投入の対応を協力してもらうには時間/期間がかかりすぎるという事情がありました。Service(以下DMS)を中核サービスに据えることと致しました。継続的なデータレプリケーションといったことができるサービスです。下記のようになります。ロード)も含まれます。これらの処理フローを実現するAWSサービスは次の図のようになっています。ConnectやKinesisも利用し、データレイクはS3になっています。S3を採用しているのはデータ容量が無制限という点からです。社内で利用が進んでいるTableauなどもつなぎにくる想定で構築しております。最終的なアーキテクチャの構成としては上記の図のようになりました。一度Auroraに格納、そこからファイル化しS3に配置、ファイル化したものをGlueでカタログ化し、Athenaから引けるようにするという構成になっております。いくつか工夫した点として、DMSでは、パッチ処理によって動的にDMSタスクを生成&実行するようにしています。これは、オリジナルDBを参照するにあたって、リードレプリカがないものもあり、そういった場合、日中のリソース負荷避け、深夜帯に負荷を集約することが目的です。動的なDMSタスク生成&バッチ実行によって、テーブル増減への自動追従も可能となります。一点、Auroraでは、「データ量が少ない」「クエリ負荷が低い」「Athenaのオーバーヘッドが許容できない」という社内アプリケーションが他システムのデータを利用したい場合の参照先としてReaderを開放しています。データ量が少ない場合などはAthenaのほうがRDS利用より処理時間がかかることがあるからです。詳しく先程の概要図に沿って、もう少し細かく記載すると、上記の図のようになります。DMSタスクの動的制御部分についてCloudWatchのイベントスケジュールでStepFunctionを起動し、Lambdaを動かすことで動的にDMSタスクを制御しています。DMS下のJenkinsについてエラー時のリカバリ用バッチ処理が入っています。システム間のデータ連携が進み始めている」ことです。大きなデメリットとなってしまっております。ETLのステップを踏まず、オリジナルデータから欲しいデータを無理やり作ろうとするSQL実行が頻発しており、SQLに関する質疑応答などが増加している状況です。開発側にデータサイエンティスト、データベースエンジニアが不足している点は課題であります。今日お話したのは弊社のデータ分析基盤のシステム面ですが、5月28日(火)開催予定の後編ではビジネス面にフォーカスした内容でお話します。現在の弊社ではデータ分析基盤により既存データの新しい価値が生まれ、新たなビジネスへ繋がっています。新しいことへのチャレンジは課題を生みます。直面した課題と対するアプローチなど、包み隠さずお話いたします。PLAYに登録すると、スキルアップやキャリアアップのための情報がもっと簡単に見つけられます。面白そうなイベントを見つけたら積極的に参加してみましょう。デジタルマーケティング新着マガジンクラウド活用のアーキテクチャとDevOps事例勉強会デジタルマーケティングをHackするプロダクト開発力。イベントをはじめようグループを作れば、無料で誰でもイベントページが作成できます。データマネジメントの勘所【日本経済...イベントの参加には会員登録(無料)が必要です。PLAYに登録すると、スキルアップやキャリアアップのための情報をもっと簡単に見つけられます。