Blog未経験からデータアナリストになりました。備忘録的な情報が参考になればと思います。Cloudでデータ取込のパイプラインを開発しました。Storageにcsvが配置されたことをトリガーにBigQueryにデータ取込を実行する処理を作りました。そちらのコードが調べても意外と出てこなかったのでサンプルコードとアーキテクチャをまとめてみました。Functionsとは、サーバーレスにアプリが実行できるサービスです。StorageのデータをBigQueryに取り込むことやBigQueryのデータを加工することが可能です。ファイル配置や時間指定のトリガーが設定できます。MAX9分でタイムアウトするので、大規模な処理には向かないかもしれません。load')GCSトリガーでのCSVインポートまとめ以上が、GCSトリガーでのBigqueryへのCSVインポートの解説となります。GCSトリガーはファイルの配置時間が読めないときに有用なトリガーになります。Cloud関連記事データ分析基盤のアーキテクチャ全体はこちらとなりますCloudFunctionsでのBigQueryテーブルへのクエリ実行について、こちらにまとめておりますのでご参考ください。Cloud関連記事をこちらにまとめております。Cloudでデータ分析基盤を開発しました。その際に実現できたアーキテクチャが参考になればと思いまとめてみます。本記事を見に来ていただいた方は、そのようなお悩みをお持ちではないでしょうか。以前、データ分析基盤のアーキテクチャについて書かせて頂きました。Cloudで時間指定の定期実行でデータ加工処理を実行していました。CloudでDWHの実装をしたことがありました。GA4からBigQueryにデータを連携して顧客分析に活用していました。GA4から流れてくるデータはネストされた構造となっており、SQLで通常のSELECTでは使用できないデータ構造となっております。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。上に表示された文字を入力してください。未経験からデータアナリストになりました。経験をもとに業務や転職のことを発信できればと思います。最近の業務では、KPIレポートの作成やプロダクト分析などを行っています。CloudAWSTableauホーム検索トップサイドバータイトルとURLをコピーしました。