データ分析とか基盤系に興味あります。BeamのPythonでPostgreSQLからBigQueryに書き込めるか検証。検証したところJDBCをつかいPostgreSQLからBigQueryに書きこむことはできた。クエリの上書きはできなかった。TABLE」で実行されてします。以下の条件に該当せずデフォルト値が渡せれているもようgithub.comBigQueryへの書き込みはうまくいったがまだ実運用は厳しそうだった。PostgreSQLからBigQueryへはPythonのラッパークラスをつかい内部的にはJavaで実装している。beam.apache.orgぱっと見は動きそうなので、デバッグできる環境をつくる必要がありそう。PythonからJavaのコードを実行しなくてはいけないので検証がやや大変そう。カラムの絞りこみだけであればBQに書き込む際スキーマをしぼることは可能だが、クエリでSETオプション等使いたい場合は厳しそうだ。jdbcコネクタを使いDataflowでジョブを実...2021-08-29Embulkプラグイン開発備忘録Embulkにパッチを当てるための備忘録です。Destinationsを使って動的に出力先のテーブルを変えるオンプレ環境のテーブルをBigQueryにリアルタイムに連携するた...2019-10-13Dataflowパイプライン処理の備忘録:PythonDataflowで使うパイプライン処理の備忘録です。検索はてなブログをはじめよう!casekblogさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。