Catalogを使ってBigQueryのメタデータ管理をする際の運用マニュアルデータ活用において、メタデータ管理やガバナンスなどをすることは非常に重要です。メタデータ管理を実践する際の導入手順についてまとめていきたいと思います。筆者自身も運用中なのと、まだ実践できていないことも多いため、以下のドキュメントは間違っている可能性もありますが、現時点での導入方法や運用方法についてまとめます。前提にしていそうな思想のところについて触れます。すると、そうドキュメントに書いてあるだろというふうな感じだと思いますが)。テーブル間の関係性を表現するとかは思想としてはあまり想定しておらず、データリネージュのような機能も現時点では想定していない様子です。自体にプライマリーキーなどが前提になっているわけではないですし)。部分においては、データウェアハウスなどを組み立てる際に、しっかりとデータパイプラインの設計がされており、使いやすいテーブルが一定揃っていることや、データがそもそもぐちゃぐちゃであることを管理しやすくするものではなく、メタデータ管理して利用者が使いやすくなったり、ガバナンスを効かせたりすることができるツールと捉えるのが良いと考えています。「検索」が一番の大きなところだと思っています。検索については、以下のドキュメントで書いているので、合わせてご確認ください。(検索機能)の使い方まとめ言われてみれば当たり前なのですが、「データを探すときにどうやって探すか」や「どういうふうに検索ができるか」を軸に前提にメタデータの管理を組み立てると良いと思っています。あるタグはおそらく人間が入力することよりも機械的にある程度入力することを想定している部分が大きいと考えております。データパイプライン上でのタスクの実行を通して、システム的に入力するみたいなイメージです。人が入力することが前提になっていると思います。メタデータによる運用などを検討する際には、どの値をシステムも含めた誰が更新するのかを事前に設計することが必要だと考えています。メタデータ管理の進め方として、大きく以下のタスクがあります。洗い出しメタデータの更新方法の設計メタデータの更新それぞれについて詳細に内容を書いていきます。メタデータの利用ケースの洗い出し​まずは、メタデータの利用ケースの洗い出しをおこなします。誰が、どういったシーンでこのメタデータを利用することになるのかを整理します。つのシーンを洗い出すのが良いと思います。データ分析者の利用シーンの洗い出し品質管理への利用シーンの洗い出しガバナンスへの利用シーンの洗い出しメタデータ管理をしっかり行うことで、データ分析者であれば実際にデータを利用するときに「このデータはどういった定義なのか」を把握することができたり、品質管理の観点であれば更新がいつどのタイミングでどこから行われたかなどを把握することができたりします。ガバナンスの観点は少し特殊ですが、センシティブなデータの定義をしておけば、閲覧などに制限をかけることができます。このように、誰がどんなことをしたいときにそうするか、また防ぎたいかを整理することで、どのようなメタデータを管理する必要があるかがわかるようになります。メタデータの更新方法の設計​メタデータの利用ケースが洗い出されたら、どのようなメタデータを付与する必要があるかが分かりますが、ここで問題になるのが「それをどのように更新するか」です。メタデータの入力は地味ですし、知っている人が基本的には地道に情報を入力していく必要があります。つの観点から、どのようにメタデータを常に最新の状態に保つかを設計しましょう。人が更新する箇所の設計システムが更新する箇所の設計プロダクトに余計な機能を追加しないようにすることと同じく、情報が陳腐化するのであれば、基本的には入力しないほうがましだと思います。最初は小さく始めたり、ユーザーがよくアクセスしているデータを中心にして優先度をつけたりという形で、徐々に対象箇所を広げていくと良いでしょう。メタデータの更新​メタデータの更新方法の目処がったら、実際にメタデータの更新をしていきます。更新箇所としてあげられるのは次のようなポイントかと思います。データセットとテーブルの整理」を行い、不要なデータセットやテーブルはどんどん削除しましょう。データセット・テーブルに関するデータスチュワードを設定する」です。これにより、情報が入力されていなくても「このデータセット・テーブルについてわからないときには誰に問い合わせればいいか」が明確になります。これだけでも分析者やガバナンスを整理する人からすれば、かなり有用かと思います。スキーマ情報をその人に更新してもらうのがいいでしょう。他にわかる人がいればその人でもいいですが、実際に作った人やそのテーブルを管理している人が入力したほうが誤った情報を入力することもなくなります。ここで、ラベルなどの情報やテキストで様々な情報を入力しておくことで、検索時に役立てられます。ラベル設計やタグテンプレートの設計は「共通ラベル」のようなものを定義しておけば、利用目的などのテーブルなどを素早くラベルベースで探すことができるようになります。メタデータ管理の進め方についてまとめてみました。上のデータをより活用したい際の参考になれば幸いです。UsCompanyStackshare採用情報ニュース。