~実践編~印刷する古林2020年08月12日みなさまこんにちは。クラウドアーキテクトの卵です。本ブログも、リモートワーク環境で書いています。あれからまたちょっと模様替えしました。スマホ置き場やヘッドセット置き場を設けたり、配線周りをもう少しスッキリさせたり、アロマコーナーを作ってみたり、お気に入りのフィギュアを飾ってみたり...。機能的、かつ、より気分が上がる環境が整ってきました。はじめに今回は、前回のブログの続きとなります。今回は実践編として「データガバナンス」の実現方法をまとめました。前回のブログでは、データガバナンスとは、平たく言ってしまうと「データの運用ルール」のことであり、データ利活用にはデータガバナンスが必要不可欠、という内容をまとめました。その中で、データ利活用に必要なもの・役割について、以下のように記載しています。データの利活用に必要なもの・役割は、最低でもこれだけ必要と言われています。(実際には、もう少し細分化されることもあります。会社によって名称が異なることもあります。上のデータ分析基盤環境において、実際にどのようにすればデータガバナンスが保たれるか」に焦点を当てています。そのため、プラットフォーム側で実現できるデータガバナンスの方法について記載します。データガバナンスの必要性』の部分で、以下のように記載しました。つに分けられることが多いように感じます。データの内容データが多すぎて、必要なデータがどこにあるのかが分からない。各システムの更新頻度が異なるため、それぞれのデータがいつの断面の情報かが分からない。データソースの仕様が変わったため、データの意味が分からなくなった。はじめに」に記載した内容が含まれています。上記の問題を解決するには「データの品質を保つルール」が必要となります。データのセキュリティデータを集めたら、機密データが全社員に公開されてしまった。データをマスキングしなかったら、情報流出だと怒られた。逆に、データをマスキングした場合、業務で使えないと怒られた。番目の内容は、一見背反しているように見えますね。(データの管理者は辛いところだと思います。」という権限管理が、データにおいても必要と言えるでしょう。上記の問題を解決するには、「データのセキュリティを保つルール」が必要となります。どのような施策が取れるかを考えてみます。(「データのセキュリティを保つルール」については、次章に記載します。)データの品質を保つには、誰かが適切に管理しておく必要があります。管理しているだけだと、データ利活用を促進するという最終目標に達するには少し弱いです。「このようなデータがここにあり、使える状態である」ということを、データサイエンティストをはじめとするデータ利用者が知らないと、データ利活用がままならなくなります。(データの存在を知らない、ということは「あるある」です。「そのデータ、ウチの部署独自で持ってますよ」「えっ!?」という話も往々にして聞きます。)上記より、データガバナンスを保つには、データの適切、かつ、利用可能な状態の管理が必要であると言えそうです。実現可能な施策を調査しました。Gen2まずは、データの置き場所を整理することから始めましょう。データのリアルタイム集計を行いたい場合は即時性を求められるため、ストリーミング処理を行いますが、それ以外はデータレイクに入れることがほとんどです。配置ルールを決めます。多少語弊があるかもしれませんが、とても平たく言うとフォルダ構成を決める感じです。利用することをお勧めします。ビッグデータ分析用に特化した機能を有しています。中でも特徴的なのが、階層型名前空間が追加されている点です。ファイルのコレクションを、ディレクトリおよびネストされたサブディレクトリの階層に編成できるようになります。必要なデータの場所をファイルシステムと同じように指定できるため、データ解析のパフォーマンスも早いです。(「多少語弊があるかもしれませんが、とても平たく言うとフォルダ構成を決める感じです」は、階層型名前空間を意識して書きました。中に「各システムの更新頻度が異なるため、それぞれのデータがいつの断面の情報かが分からない。」という内容がありました。