データ分析とか基盤系に興味あります。dbtこの記事は、Databricksとdbtのアドベントカレンダー2023の13日めの記事です。qiita.comqiita.comここ半年ほどDatabricksを使い始めて、最近terraformやdbtにコントリビュートする機会があったので、その紹介をします。Serverの変更追跡ログを使って、変更のあったPKの変更ログと変更前のログを取得する方法をご紹介します。テンプレート検証(Java)DataflowPython版を調べてみたがクエリの上書きができなかったり、余計な通信が発生していたりと現時点で本番運用できる状態ではなかった。Java版が使えるか検証してみる。Serverでそれぞれ検証してみた。jdbcコネクタを使いDataflowでジョブを実行してみました。SQLとDataflowを同一サブネット内に作りプライベートIPで接続を試みました。SlotsをPython版に置き換えたBigQuerybashでやっていたがエラーハンドリングが色々きつかったのでPythonに書き換えました。ドキュメントは不十分だったのでGitHub見ながら作る感じになります。一通り機能はあるので同じようなことしようとしてる方の参考になれば幸いです。Embulkデータ基盤旧環境で古い環境のハッシュ変換値をBigQueyの関数で実行した際の備忘録です。MD5の計算まではどの言語を使っても同じですが変換後の処理はそれぞれのライブラリや関数によって違うのでドキュメントや直接コードの確認が必要です。BigQueryを検証。クエリの上書きができないのは検証済みだがそれ以外で不足機能がないかみてみた。Serverの場合jarファイルの追加が必要。BeamのPythonでPostgreSQLからBigQueryに書き込めるか検証。検証したところJDBCをつかいPostgreSQLからBigQueryに書きこむことはできた。クエリの上書きはできなかった。TABLE」で実行されてします。Kinesisへ書き込む処理とKinesisからBigQueryへ書き込む処理を作りました。本記事ではDataflowでKinesisを扱う際の注意点をご紹介できたらと思います。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。