Lakehouses,"では、サイバーセキュリティ・データ用のレイクハウスを構築する際に、組織がデータ・エンジニアリングで直面する多くの課題について議論し、それを克服するために私たちが現場で使用したソリューション、ヒント、コツ、ベスト・プラクティスを紹介する。パート1では、まず統一されたイベントのタイムスタンプ抽出から始めた。パート3では、半構造化された機械生成データの解析方法に取り組んだ。このシリーズの最終回では、サイバーアナリティクスの最も重要な側面の1つである、共通の情報モデルを使用したデータの正規化について説明します。このブログが終わるころには、サイバーセキュリティ・レイクハウスにデータを正規化する際に直面するいくつかの問題と、それを克服するために使用できるテクニックについて、しっかりと理解していることだろう。促進するための共通情報モデル(CIM)が必要である。組織には、ログやイベントをさまざまな構造や形式で生成するさまざまなシステムやアプリケーションがある。CIMは、共通のデータ構造、属性、関係を定義する標準化されたモデルを提供する。この標準化により、アナリティクス・エンジンは、異なるソースから収集されたデータを正規化し、調和させることができ、情報の効果的な処理、分析、相関が容易になる。共通情報モデルを使うのか?組織は、様々なベンダーの様々なセキュリティ・ツール、アプリケーション、デバイスを使用しており、それぞれのテクノロジーに固有のログを生成している。検出、インシデント対応機能を実現する上で極めて重要である。"が過去30日以内にどのシステムやアプリケーションで認証に成功したかを知りたいとする。この質問に、単一のモデルなしで答えるには、アナリストは何十、何百ものログを検索するクエリを作成する必要がある。各ログファイルは、ユーザー名と認証結果(成功または失敗)を、異なるフィールド名と異なる値で報告する。アプリのフィールド名も、イベント時間と同様に異なる可能性がある。これは実行可能な解決策ではない。共通情報モデルと正規化プロセスに入る!上の画像は、多くのソースからのバラバラのログが、既知のカラム名を使用して、イベントをイベント固有のテーブルにフィルタリングし、データが正規化された後、単一のシンプルなクエリで質問に答えることを可能にする方法を示している。データを正規化する際に考慮すべきこと異種データソースを単一のCIM準拠テーブルに正規化する際に考慮すべき条件がいくつかある:異なるカラムタイプ:異なるデータソースと特定のイベントをCIM(イベントドリブン)テーブルに統合すると、データ型が衝突する可能性がある。以上のソース列から新しいフィールドを派生させる必要がある。:フィールドは予期せず存在しなかったり、NULL値を含んでいたりします。CIMが欠損値やヌル値のデータ型に対応していることを確認する。ようなリテラル値に設定する必要があるかもしれない。action="Success")スキーマの進化:データもCIMも時間とともに進化する可能性がある。データの変更に対応するために、特にCIMテーブル内で後方互換性を提供するメカニズムがあることを確認する。エンリッチメント:CIMデータは多くの場合、脅威データや資産情報などの他のコンテキストで強化されている。収集されたイベントの包括的なビューを提供するために、これらの情報を追加する方法を検討する。どのモデルを選ぶべきか?サイバーセキュリティ・レイクハウスを構築する際には、オープンソースのモデルからベンダー固有の公開モデルまで、多くの一般的な情報モデルから選択することができる。何を使うかは、主に個々のユースケースによる。OSSEMのようなオープンソースモデルと連携することに意味があるのか、それとも独自に構築することに意味があるのか。最終的には、ニーズに応じて組織ごとに選択することになる。ひとつ考慮すべきは、選んだモデルの完成度だ。モデルは一般的なものであり、ニーズに合わせて多少の適合が必要になる可能性が高い。事後的なモデル変更には時間がかかるため、モデルの採用を開始する前に、主にデータと要件をサポートする必要がある。ヒントとベストプラクティスどのモデルを選択するにせよ、全体的なセキュリティ態勢にギャップが存在しないようにするためのヒントがいくつかある。ほとんどのクエリーはエンティティに大きく依存している。送信元ホスト、送信先ホスト、送信元ユーザー、および使用アプリケーションは、おそらくどのテーブルでも最も検索される列だ。これらのマップが適切に作成され、正規化されていることを確認する。モデルは通常、フィールドカバレッジに関するガイダンス(必須、推奨、オプション)を提供する。ータ整合性チェックが適用されていることを最低限確認する。まとめ共通情報モデルベースのテーブルは、効果的なサイバー分析プラットフォームの礎石である。サイバーセキュリティ・レイクハウスを構築する際に採用するモデルは組織ごとに異なるが、どのモデルであっても、開始する前に組織のニーズにほぼ適合している必要がある。protected]までご連絡ください。レイクハウス・フォー・サイバーセキュリティ・アプリケーションのウェブページをご覧ください。Foundation.プライバシー通知|利用規約|現代奴隷法に関する声明|カリフォルニア州のプライバシー権利|プライバシ。