技術ブログ株式会社エーピーコミュニケーションズの技術ブログです。エーピーコミュニケーションズの技術ブログです。>はじめにGLB事業部Lakehouse部の鄭(ジョン)です。jobsの調整と実行をするデモを紹介したいと思います。www.dbdemos.ai今回の投稿はdbdemosを初めて使う初心者に参考になるガイドを作成することを目標にしています。以下の内容は前回の記事に続きます。techblog.ap-com.co.jp前回に作成されたフォルダとdbt_c360_gold_churn_featureの作業について学びましょう。jobsは3つのタスクで構成されています。データブリックスのオートローダーを使用してブロックストレージからファイルを抽出した後、そのデータでブロンズテーブル(Rawテーブル)を作成します。パイプラインを実行して変換(transformations)を行い、このブロンズテーブルのデータを消費してシルバーテーブルとゴルドーテーブルを生成します。最終タスクのための最終作業でML予測モデルを活用してChurnを予測しました。Churnは解約を意味します。(契約、購読など顧客の離脱)Reposに作成されたフォルダ前回にdbdemosを読んでdbdemosの中にあるdbt-on-databricksを設置しました。したら自動的にReposにフォルダが作成されます。フォルダの構成フォルダの構成を見たらプロジェクトの全体的な構成について知ることができます。フォルダの説明は次のGitHubを引用しました。github.com各フォルダについて全体的な流れを理解しやすい順序で説明しました。01-ingest-autoloaderここにはRawデータをLakehouseに収集するためのノートブックがあります。新しいデータがクラウドストレージにアップロードされたら、これを収集してdbtパイプラインを通じて変換することを目指します。以下は、ファイルへのコードの一部抜粋です。テーブルは、デルタテーブルに新しいデータが増分されます。クエリは複数のマイクロバッチを実行し、すべてのデータを処理してから停止します。ストリームデータを読みます。ストリームデータのフォーマットはcloudFilesです。cloudFilesのフォーマットを変数formatの形に変えます。スキーマの推論を利用するときに、Columnを使います。推論されたスキーマとそれ以降の変更を保存する場所です。