Blog未経験からデータアナリストになりました。備忘録的な情報が参考になればと思います。Cloudでデータ取込のパイプラインを開発しました。Storageにデータが配置されたことをトリガーにBigQueryにデータ取込を実行する処理を作りました。そちらのコードが調べても意外と出てこなかったのでサンプルコードとアーキテクチャをまとめてみました。Functionsとは、サーバーレスにアプリが実行できるサービスです。StorageのデータをBigQueryに取り込むことやBigQueryのデータを加工することが可能です。ファイル配置や時間指定のトリガーが設定できます。MAX9分でタイムアウトするので、大規模な処理には向かないかもしれません。Functionsのpythonファイルに記述しました。CloudはじめにSQLを触り始めて半年ほどのとき。CloudへのDWH移行を担当させていただくことがありました。本記事を見に来ていただいた方は、そのようなお悩みをお持ちではないでしょうか。Cloudでデータ分析基盤を開発しました。その際に実現できたアーキテクチャが参考になればと思いまとめてみます。Cloudでデータを収集・加工し、AWSでメルマガの自動配信を行いました。Cloudでデータ取込のパイプラインを開発しました。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。上に表示された文字を入力してください。未経験からデータアナリストになりました。経験をもとに業務や転職のことを発信できればと思います。最近の業務では、KPIレポートの作成やプロダクト分析などを行っています。CloudAWSTableauホーム検索トップサイドバータイトルとURLをコピーしました。