Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。市場を勝ち抜く企業はどこにEnterpriseZine編集部が最旬ITトピックの深層に迫る。ここでしか読めない、エンタープライズITの最新トピックをお届けします。09:00非構造化データDatabricksレイクハウス通知これまでの記事では、レイクハウスの活用事例やレイクハウス誕生の背景を説明してきた。本稿では、レイクハウスの構成要素を紐解き、それぞれの提供機能やユースケースについて述べる。3データ×AIプロジェクトに携わる人々データエンジニアデータサイエンティストビジネスアナリストレイクハウスにおけるコラボレーションレイクハウスとはこれまでの記事でも触れているように、レイクハウスは従来のデータプラットフォームの課題を解決するために、データウェアハウスとデータレイクの長所を組み合わせた新たなデータプラットフォームである。Notation)のような「準構造化データ」、画像・音声・テキストのような「非構造化データ」といったすべてを格納することが可能だ。データウェアハウスを活用して行われていたビジネスインテリジェンス(BI)や、データレイクの主なユースケースであるデータサイエンスや機械学習の取り組みなどを一つのプラットフォームで行える。レイクハウス誕生の背景[クリックすると拡大します]レイクハウスの構成要素レイクハウスのアーキテクチャを以下に示す。上の緑の箱は、ユースケースあるいはペルソナである。このように、データ×AIという取り組みにおいて、考えつくであろうすべてのユースケースをカバーしているのがレイクハウスの特徴だ。レイクハウスのアーキテクチャレイクハウスにおいては、データをクラウド上のオープンなデータレイクに格納することでデータの種類やサイズを問わず「そのままの状態」で保持することが可能である。これにより、ベンダーロックインを回避できるだけでなく、将来的に取り組むであろうユースケースに備えて柔軟にデータを蓄積できるのだ。データレイクには上述の長所がある一方で、以前の記事でも触れたようにデータ品質やパフォーマンスの課題がある。どんなデータを格納できたとしても、そのままではただの“ゴミ”だらけになってしまう。そのため、従来のデータレイクは「データスワンプ(沼)」と揶揄されることもあった。レイクハウスでは、この課題を解決するために「ストレージ層」と「ガバナンス層」を導入している。このアーキテクチャはDatabricksやGoogleの「BigLake」などでも共通している。ストレージ層データレイク上にストレージ層を存在させることで、データレイクの長所はそのままで高い性能やデータ品質を維持することが可能となる。Lake」や「BigQuery」などが挙げられ、堅牢性、パフォーマンス、バージョン管理、トランザクション保証のような機能を提供している。ガバナンス層データガバナンスは、組織内のデータをセキュアに管理するために実装されるポリシーとプラクティスをまとめ上げるものである。データの量と複雑性は増加し続けており、コアとなるビジネス成果を確実なものとするために、多くの企業がデータガバナンスを必要としている。このようなデータガバナンスを実現するのがガバナンス層だ。Platformで提供されている「Dataplex」が挙げられる。レイクハウスで管理されるファイル、データベース、テーブルなどのデータ資産のメタデータ、セキュリティの一元管理を可能にし、さらにはデータリネージ(データの依存関係の管理)、データ共有のような高度な機能などが提供されている場合もある。レイクハウスにおいて、データやAIに関わる様々なユースケースを実現するには、多くのペルソナがコラボレーションしながらプロジェクトを進める必要がある。最近ではリモートワーク環境下では顕著だ。従来のツールやプラットフォームでは、各ペルソナが得意とするツールを活用することがほとんどで、リモートワークを行いながら迅速なコラボレーションを行うことは困難だった。結果として、データサイエンティストが期待していたデータが用意されていなかったり、データサイエンティストが構築したモデルが他の人にとってブラックボックスになっていたり、ビジネスアナリストが可視化に使用したデータが古くなっていたりなどの問題が少なくなかった。このような問題を解決するために、レイクハウスにはオンラインでのコラボレーションを促進するための機能が求められているのだ。タカアキ)筑波大学大学院を修了後、株式会社IHIに入社。社内システム部門でサーバー・ネットワーク管理やシステム開発に従事。おいて自然言語処理に関する研究開発やITコンサルティング、インターネットサービスの開発・運用、インド赴任を通じてビッグデータソリューション創出に従事。Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。NEW新着記事一覧を見るイベントイベントカレンダーを見る講座イベントカレンダーを見る「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティ/システム運用の最新動向を中心に、企業ITに関する多様な情報をお届けしています。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。