#デルタテーブルで作成します。ストリーミングのメタデータを保存する場所を設定します。複数のマイクロバッチを実行し、すべてのデータを処理してから停止します。#ストリーミングされた新しいデータは、テーブルに追加される形式で更新します。テーブルの名前を読みます。関数「incrementally_ingest_folder」を使って3つのブロンズテーブルを作ります。'dbdemos.dbt_c360_bronze_events')それぞれのテーブルのフォーマットはjson、json、csvです。warehouseへの接続設定やSQL変換ファイルの保存場所などの情報が含まれています。全てのdbtプロジェクトにはdbt_project.ymlが必要です。認識できるように手伝います。以下は、dbt_project.ymlファイルのコードの一部抜粋です。各タグの説明はコメントを作成しました。プロジェクト名で文字と数字とアンダースコアで書きます。dbtでプロファイルはDWの接続設定名を指します。モデルとソースを配備するパスを指定します。テスト用のデータであるシードファイルを配備するパスを指定します。テストコードを配備するバスを指定する。配置するパスを指定します。マクロを配備するパス。コマンドの出力先パスを指定します。削除対象のディレクトリを指定します。特定のdbtバージョンでのみ動作するようにプロジェクトを制限します。モデルの設定を記述します。viewタグの説明は次のブログとdbtサイトを引用しました。ファイルを参照します。つのファイルにモジュール化しました。'dbt_c360_gold_churn_features.sql')各ファイル内では、変換の具体的な方法をテーブルやビューとして設定できます。Architectureについての詳細は次のサイトをご確認ください。Databricks以下は、ファイルへのコードの一部抜粋です。(dbt_c360_silver_events.sql)上で作成したブロンズテーブルから希望する情報を選んでデルタテーブルの形でシルバーテーブルを作成しました。dbdemos.dbt_c360_bronze_eventsdbdemos.dbt_c360_silver_eventsテーブル以下は、ファイルへのコードの一部抜粋です。(dbt_c360_silver_orders.sql)上で作成したブロンズテーブルから希望する情報を選んでデルタテーブルの形でシルバーテーブルを作成しました。castを使ってタイプを変更するなどデータの前処理をします。dbdemos.dbt_c360_bronze_ordersdbdemos.dbt_c360_silver_ordersテーブル以下は、ファイルへのコードの一部抜粋です。(dbt_c360_silver_users.sql)上で作成したブロンズテーブルから希望する情報を選んでデルタテーブルの形でシルバーテーブルを作成しました。castを使ってタイプを変更するなどデータの前処理をします。dbdemos.dbt_c360_bronze_usersdbdemos.dbt_c360_silver_usersテーブル以下は、ファイルへのコードの一部抜粋です。(dbt_c360_gold_churn_features.sql)上記のシルバーテーブルから予測モデルに使用する変数を選別してゴールドテーブルを作ᄆります。ジョインして合わせます。変数は予測モデルのfeatureとして使用できるようにユーザーIDでグループ化し、集計関数を通じて数値化します。モデルについて行うアサーションです。普通はデータの品質と検証を目的に使います。特定のアサーションに失敗した記録を隔離および分離する機能もあります。以下は、コードの一部抜粋です。販売総額がマイナスの場合は、ユーザーidと販売総額の記録を別に作成して隔離しています。失敗したときに保存します。最初のコラムにグループ化します。MLモデルをロードするためのノートブックが含まれています。分析を作って、Churnを減らすためのアクションを実行するために利用できます。Churnモデルの作成はこのデモの中にないため。ここにダミーモデルを作成します。以下は、コードの一部抜粋です。MLを実行できる実験スペースを作成します。MLを実行できる実験スペースを作成する関数です。ワークスペースのtokenを自動的に読み込みます。ワークスペースのurlを自動的に読み込みます。接続するurlにpathにあるデータを送信します。headersはheaderの情報です。experimentを作ります。"/Shared/dbdemos/dbt"にexperiment"03-churn-prediction"を作ります。モデルをロードします。リモートレジストリの情報は次のURLをご確認ください。https://www.dbdemos.ai/minisite/lakehouse-retail-c360/04-Data-Science-ML/04.3-running-inference.htmlダミーモデルを作ります。リモートレジストリからモデルをダウンロードします。demoで作ったモデルです。dummyModelを作ります。関数predictを作ります。map()で反復的に関数を実行します。間の任意の整数を生成します。dummyModelを入れてくれます。レジスタモデルを作成します。#レジスタモデルのversionのstageを"Production"で変更します。