:2024.1.29FacebookTwitterはてブデータレイクは安価で大容量のデータ分析基盤として注目されています。一方でデータウェアハウスとの違いがわかりづらく、2つの概念を混同されている方もいらっしゃるかと思います。本記事では、データレイクとデータウェアハウスの違いについて以下の観点から詳細に比較していきます。どんなニーズを満たすことができるのかどんなデータを格納できるのか分析者は誰なのかコストはどれくらいかかるのかどんな注意点があるのか実際に導入するには最後までお読みいただくことでデータレイクやデータウェアハウスといったデータ分析基盤への理解が深まり、どんな分析基盤が自社にとって最適か判断することができるようになります。データレイクやデータウェアハウスの構築・運用に関して弊社のサービスにご関心がある場合は是非こちらをご覧ください。目次1.データレイクとデータウェアハウスの違い1-1.データレイクは倉庫、データウェアハウスは物流センター1-2.データレイクによって安価に大量の生データを分析できる1-3.データウェアハウスによってデータをビジネスに役立てる2.データレイクとデータウェアハウスの活用方法2-1.データレイクとデータウェアハウスが必要となる状況2-2.データレイクとデータウェアハウスで最新のデータ分析基盤を構築する3.データレイクとデータウェアハウスそれぞれの注意点3-1.データレイクは専門家が扱うべきである3-2.データウェアハウスはコストの増大に注意する4.データレイクやデータウェアハウスを導入する上でのポイント4-1.ゴールから逆算して必要なプロダクトを考える4-2.互換性と柔軟性4-3.時間的な制約や社内にノウハウの蓄積がない場合にはコンサルタントを活用するまとめ1.データレイクとデータウェアハウスの違いデータレイクとデータウェアハウスの特徴を5つの軸で比較するとこのようにまとめることができます。注意点どのデータがどこに保存されているかわからなくなるコストがかかる本章ではデータレイクとよく混同されるデータウェアハウスとの基本的な特徴の違いについて解説します。1-1.データレイクは倉庫、データウェアハウスは物流センターデータレイクはデータウェアハウスと比較することで直感的に理解しやすくなります。イメージとしては、データレイクが「何でも置いておくことができる倉庫」、データウェアハウスが「最終消費者に届けるために整備された物流センター」のように捉えるとわかりやすいです。データウェアハウスはデータを使うユーザーの目線に立って使いやすいように構築されているため、整理・整頓の際にコストがかかってしまいます。一方でデータレイクはそうしたコストはかかりませんが、ひたすらデータを詰め込む目的で作られているので、どこに何のデータがあるかわからなくなってしまうリスクも存在しています。1-2.データレイクによって安価に大量の生データを分析できるデータレイクは生データをそのまま大量に貯えられるという特性から、以下の5つのニーズを満たすことができます。AI・機械学習を導入したい非構造化データを活用したいデータサイエンティストが探索的に分析できる環境が欲しい低コストで分析基盤を作りたい最新のデータを素早く分析したいAI・機械学習を導入したい/非構造化データを活用したい機械学習やAIを導入する際には、どんな分析手法を採用するかによってデータの前処理方法が変わるため、データサイエンティストが生データに直接アクセスできるほうが効率的です。データレイクにはテキストデータやセンサーデータ、画像データといった非構造化データもそのまま格納することができます。それらのデータを用いて機械学習を行い、例えば以下のことを実現することができます。大量の画像データと熱センサーデータを用いて、高精度な異常検知システムを製造ライン上に構築するモバイル機器やセンサー、カメラから送られてくる情報をAIに学習させ、IoTによる顧客利便性向上に役立てるアンケートの回答結果を大量に集計し、テキストマイニングによってインサイトを得るデータサイエンティストが探索的に分析できる環境が欲しい/最新のデータを素早く分析したいDWHには、予め利用目的が定められたデータのみが集約されるため、どのように役立ててよいかわからないデータを探索して利用可能性を探る場合には、全てのデータが存在しているデータレイクを利用します。データウェアハウスにデータを移すためには前処理をするタイムラグが生じるため、今すぐに新鮮なデータにアクセスしたい場合にはデータレイクの方が向いています。低コスト/低リスクで分析基盤を作りたいデータレイクを導入することで、データベースの負担を軽減し、データウェアハウスのストレージコストを下げることができます。データベースでビッグデータを管理する場合、サーバーを増やして対応する以外に手段がありません。過去には、機器から送られてくる大量のデータを捌ききれずにサーバーが圧迫されたりエラーが発生するといった問題も起きたことがあります。たまったデータをデータレイクに吐き出すことでサーバーの負担を軽減できます。データウェアハウスにビッグデータを貯める場合、データレイクよりデータを蓄えるためのストレージのコストが高いです。前処理を膨大なデータにかけた上で整理しなくてはならないので時間もかかります。そのため、まだ目的が定まっていない非構造化データを大量に入れておく場所としては不適切です。データベースから過剰なデータをデータレイクに移し、分析に必要なデータをデータレイクから抽出してデータウェアハウスに送るという流れを作ることでこれらの問題を解決し、コストとリスクを下げた分析基盤の構築ができます。S3とTableauを使った当社の事例になります。API)参考:非構造化データの一つであるテキストデータを使った分析についての記事1-3.データウェアハウスによってデータをビジネスに役立てるデータウェアハウスは経営上の視点からデータを活用し、戦略を考えるためのデータ分析基盤です。データベースによってさまざまな種類のデータが貯蓄されていく中で、それらのデータを統合してビジネスに役立てるために生まれました。以下の4つの特徴があると1990年代にデータウェアハウスの概念を提唱したビル・インモン氏が定義しています。variant):データが時系列に並んでいる従来のデータベースの課題となっていたデータ容量の限界をなくし、時系列・目的ごとに整理することで分析しやすくなります。データの流れを示したイメージ図がこちらになります。データウェアハウスのプロダクトデータウェアハウスの主なプロダクト例としては、SnowflakeやTeradataがあります。データウェアハウス”snowflake”の特徴テキストを選択して上書き編集してくださいデータレイクとデータウェアハウスの機能を併せ持つ「レイクハウス」レイクハウスとは、データウェアハウスの生みの親であるビル・インモン氏が2017年頃に提唱した新しい概念でデータレイクとデータウェアハウスのいいとこ取りをするツールになります。最終的には以下の姿を目指しています。トランザクションをサポートして一貫性を保つ同時接続ユーザー数の増加やデータ量の増加に応じてシステムがスケールアウトできるデータレイクとデータウェアハウスでデータを二重持ちする必要なく、BIがデータソースに直接アクセスできるPythonやRのライブラリをAPIとして活用でき、直接データにつないで機械学習を実行できるコストを削減できる非構造化データを正しく管理できるつまり、「シンプルかつコスト効率もよく、膨大で様々な種類のデータに対応でき、様々なデータアプリケーションに対応できるデータ分析基盤がレイクハウスである」と言えます。現状まだまだ性能は低く、近代的なデータウェアハウスを上回ることができていません。具体的にデータレイクとデータウェアハウスそれぞれで実現できることと、データレイクとデータウェアハウスを併用して構築するイメージについてご紹介します。2-1.データレイクとデータウェアハウスが必要となる状況データレイクは以下の状況で必要とされる/効力を発揮すると言えます。旧来のデータ分析基盤のコストが増大しており、新しい分析基盤を作ってコストを下げたい大量の非構造化データを保有しており、今後の活用を検討している社内にデータ分析専門の部署があり、予測モデルの構築やAIの活用のために生データを分析するニーズがある一方でデータウェアハウスが必要とされる状況は以下です。データベースにデータが蓄積されているものの、ビジネスにデータが活用できていない構造化されているデータのみ保有しており、非構造化データを持つ予定はない部門間で異なるシステムを使っており、統合的なデータ分析基盤が必要とされている以上から、データウェアハウスはこれからデータ分析を始める企業に向いており、データを使って経営に役立てたい場合に最適だと言えます。一方でデータレイクは既にデータ分析を一定実施している企業がデータウェアハウスの低コスト化を進めたい場合や、新たなサービスの開発にデータを役立てたい場合に必要です。2-2.データレイクとデータウェアハウスで最新のデータ分析基盤を構築するデータウェアハウスやデータレイクは異なる役割を担っており、データの流れをパイプライン化することで最大の効果を発揮します。データレイクやデータウェアハウス、BIツールなどを活用することで統合的なデータ分析基盤を構築し、部署ごとのデータのサイロ化や分析の属人化を防ぐことができます。データレイクとデータウェアハウスが組み込まれたデータアーキテクチャとしては以下のようなイメージができます。データレイクに各システムやデータソースからのデータが集約され、データウェアハウスに必要なデータが抽出、各部署はデータマートを使ってデータを可視化・分析するというのが一連の流れです。データマネジメントやデータガバナンスの観点からも、共通のルールに基づいてデータを管理でき、高品質であることが保証されたデータを使って分析を進めることができます。3.データレイクとデータウェアハウスそれぞれの注意点データレイクとデータウェアハウスはそれぞれ注意点が存在しています。3-1.データレイクは専門家が扱うべきであるデータレイクは安価に大量のデータを保存しておけるため便利ですが、膨大なデータをそのまま格納するという特性上、注意点も存在しています。データの専門家でないと扱うのが難しい「データの沼」とならないようにするデータの専門家でないと扱うのが難しい生のデータがそのまま存在しているため、自分で前処理やデータの統合を行う必要があります。生データを扱う上では以下のように気を付けるポイントが多く、ビジネス担当者にはハードルが高いです。「データの沼」になりやすいデータを格納する上でのルールを決めたり、格納したデータの特徴をメタデータとして記録したりしない場合、どこに何のデータがあるかわからないデータスワンプ(データの沼)状態になってしまいます。加えて、誰にどこまでデータにアクセスする権限を与えるかなどのデータガバナンス上の取り決めも予めしておく必要があります。データの検索性を担保し、沼化を避けるためにデータカタログを作成しておくとよいです。データカタログには以下4点のメタデータを整理して格納しましょう。(セキュリティデータ)3-2.データウェアハウスはコストの増大に注意するデータウェアハウスでは、以下2つのコストに注意しましょう。ストレージとしてのコスト構築にかかる時間的なコストデータを貯えるためのコストが高い何度かご説明しているかと思いますが、データレイクの方がデータウェアハウスよりデータの貯蔵先としては安価です。データウェアハウスで全てのデータを蓄えようとすると、維持費が高額になってしまう場合があります。データレイクと併用することで、現状の分析に必要なデータのみを入れるようにしましょう。構築に時間がかかるビジネスに役立てるためにどんなテーブルを作成するべきか、生データをどのように構造化し、統合するかなど考えるべきことが多く、最適なデータウェアハウスの構築には時間が必要です。様々な種類のデータがあればあるほどデータの持ち方が複雑化し、統合がうまくいっているか検証するプロセスも必要になります。一方で、短時間でその場しのぎに構築したデータウェアハウスでは、最終的な活用のイメージが想定されていないため実際のビジネスが抱える課題を解決することができません。必要な時間を惜しまず、最適なデータウェアハウスの構築を行いましょう。4.データレイクやデータウェアハウスを導入する上でのポイント最適なデータレイクのプロダクトを選び、先進的なデータ分析基盤の構築を目指す際には以下の3つがポイントになります。時間的な制約がある場合にはコンサルタントを活用する4-1.ゴールから逆算して必要なプロダクトを考える例えばデータレイクを導入する目的が機械学習やAIによってモデルを構築し、需要予測や異常検知といった予測によってビジネス上の戦略に役立てることであるとします。すると、データレイクは単にデータウェアハウスにデータを供給するだけでなく、以下の条件を満たす必要があります。分析者が探索的に見ることができ、その際にデータが破損する恐れがない機械学習のライブラリが豊富なPythonやRといった機械学習の言語への拡張性がある4-2.互換性と柔軟性データレイクを選定する上では既存のデータベースやデータウェアハウスなどのツールとの互換性を把握するべきです。データベースと相性がよく、スムーズにデータの受け渡しができ、データウェアハウスへのデータの書き出しも問題なくできればストレスなく導入できます。Snowflakeであればデータレイクの機能とデータウェアハウスの機能が両方あるので、1つのツール内でデータの保存を完結することができ、さらに接続できるデータベースやBIツールも豊富にあります。次に、データ分析基盤の柔軟性とは、PoC(導入前検証)のように小さく始めることができ、なおかつビッグデータにも対応できることを指します。PoCをしたいのに初期導入コストが高すぎたり、ビッグデータを入れるとクエリの実行が極端に遅くなるようなデータ分析基盤はあまり優れているとは言えません。最新のクラウド型データレイクやデータウェアハウスであれば使った分の料金を払う仕組みになっているため、この問題を解決できます。4-3.時間的な制約や社内にノウハウの蓄積がない場合にはコンサルタントを活用する特に早く進めていきたい、今すぐにデータ分析基盤を導入したい場合には、コンサルタントを利用したほうがいいかもしれません。自社単体で進めると要件定義がうまく固められなかったり、必要なツールの選定に時間がかかったりするため、導入までに時間がかかってしまいます。まとめ今回はデータレイクとデータウェアハウスに関して比較し、特徴から導入まで詳細にご説明しました。データレイクで何ができるのかを把握したうえで導入に取り組み、効果的にビジネスに役立てていただければ幸いです。データ分析基盤を構築する上では、以下を踏まえた上でコストやデータガバナンスなど様々な視点から必要な製品の選定、実際の導入を検討する必要があります。どんなデータを分析したいのか何を実現したいのか/どんなサービスに活用したいのかどんなインサイトが得たいのか弊社では単なる導入だけでなく、導入後のお悩みに向き合い、データマネジメントやデータガバナンスの観点から戦略立案を行う豊富な経験を有しております。データ分析基盤を構築されている場合でもお気軽にご相談ください。進学後、大学のゼミでマーケティングを用いたクライアントワークを経験。データの重要性を痛感し機械学習やPython、統計学の学習を始める。インターン生として記事の執筆やセミナー講師を経験しデータビズラボで活躍中。統計データ可視化データマネジメントBIツール社長ブログ2020年6月発売/データ視覚化のデザインデータにまつわる情報を定期的に購読するデータビズラボが配信している「データにまつわる有益なコンテンツ」の更新情報をお届けします。お問い合わせサービスに関するご質問や講演依頼など、お気軽にお問い合わせください。2営業日以内にお返事いたします。資料請求お問い合わせ。