ユニファ開発者ブログユニファ開発者ブログユニファ株式会社プロダクトデベロップメント本部メンバーによるブログです。ユニファでデータを活用してプロダクトとビジネスを成長させる仕事をしている浅野です。以前、価値のあるデータ分析基盤をつくるために実践したことについて記事を書きました。modelを手軽に使ってみる方法について共有したいと思います。Transform)プロセスのうちTransform部分を実装する際に好んで使われるツールです。下記のような利点がありユニファでも積極的に活用しています。testを書いてデータ品質を保つことができる見やすいdocumentを自動生成できるこれらの開発者体験が素晴らしく良いので、もうdbtのない世界には戻れません。modelそんな便利なdbtですが、たまに「このロジックをSQLで表現するのは辛いな。」とか「pandas使えば一発なのに。」と思うことがあります。modelでは、次のように(上記公式サイトより抜粋)、まず上流モデルの内容をDataframe形式で受け取り、pandasに近いインターフェースで処理を行い、結果をDataframe形式で返します。final_dfもちろん好きなLibraryをimportすることもできますし、関数を定義することもできます。これでSQLの制約から解き放たれて自由にデータモデリングできますね。dbt-falユニファではデータウェアハウスとしてBigQueryを採用しています。Jobとして実行されます。clusterを動かすのは大げさな気がします。そんな時に手軽に使えるのがdbt-falです。modelを実行することができます。modelを使うことができ、リソースのプロビジョニングなどを別途行う必要がないのでとても楽です。ユニファのデータ分析基盤でも、SQLで書くことがどうしても難しいビジネスロジックの実装にdbt-falを活用しています。modelを手軽に使い始めることができるdbt-falについて書きました。modelも同様の思想を引き継いでいるのは自然なことです。その点が重要である場合には、localでdbtの実行を行うdbt-falを採用するのは適切ではないかもしれません。なく、かつ分散処理をしなくてもパフォーマンスが許容できる場合にはdbt-falは有効な選択肢となると思います。データエンジニアのリソースがデータ分析基盤を活用する上でのボトルネックになってしまうのは良くないので、SQL(と最低限のgit)を理解していれば誰でもデータのTransformを実行できるように環境整備をしています。modelを活用していくつもりです。modelを使ってみよう」と思っている方のお役に立てれば幸いです。V2を使ってみた!こんにちは。ユニファで開発エンジニアのマネージャーをしてい...2022-12-21価値のあるデータ分析基盤をつくるために実践したことこんにちは。2022の7日目の記事です。LambdaのコンテナイメージによるTensorFlow推論の処理時間比較こんにちは、データエンジニアリングチームの宮崎です。12引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。