Blog未経験からデータアナリストになりました。備忘録的な情報が参考になればと思います。本記事を見に来ていただいた方は、そのようなお悩みをお持ちではないでしょうか。CloudでDWHを設計・実装しました。Functionsに記述したPythonで処理を実行してSQLでデータ加工を行うようなデータパイプラインを作成しました。そちらのコードサンプルが参考になればと思いまとめてみます。Functionsとはイベント駆動型のコンピューティングサービスです。Functionsは、イベントが発生するたびに実行される関数を提供します。Functionsの主な特徴と利点は以下となります。Functionsでは、サーバーのプロビジョニングや管理が不要です。コードをデプロイして実行するだけで、自動的にスケーリングや負荷分散が行われます。Functionsは、トリガーと呼ばれるイベントに基づいて実行されます。ファイルがストレージにアップロードされたとき、メッセージがパブリッシュされたときなどのイベントに関数を実行できます。Functionsでは、実際に関数が実行された時間やリソースの使用量に基づいて課金されます。関数が実行されていない場合は、料金も発生しません。関数が初めて実行されるときの起動時間を最小限に抑えるためのオプションも提供されています。Functionsを使用すると、コードをデプロイし、トリガーを設定し、関数のログを表示するなど、関数のデプロイと管理が容易に行えます。他のGCPのサービスとの統合も簡単に行えます。FunctionでBigqueryにデータを読みに行くSQLをPythonで実行します。そちらは、このようなデータ分析基盤のアーキテクチャを組んでいました。Functionsのpythonファイルに記述しました。2つ目のクエリで1つ目で作成したテーブルを再加工するような感じで活用していましたここまで読んでいただきありがとうございます。CloudFunctionの実装だけでなく、様々なケースで疑問を感じるかと思います。Academyスタアカ定額制・自習型のプログラミングスクールです。現役エンジニアから学べるオンラインに特化したプログラミングスクールです。転職の支援はもちろん、副業に活かせるスキルの習得から、副業の仕事紹介まで寄り添います。データサイエンティストを目指すことに特化したスクールです。Cloud各サービスについて説明がされています。Cloudのサービスでいかに実現するかにに落とし込む参考になるのではないかと思います。リンクSQL関連書籍SQLの文法がまとまった一冊となります。紹介しておりますのでご参考ください。Cloud関連記事はこちらにもございます。IT業界への転職でお困りでしたら、下記サービスのご活用をご検討ください!私は転職の際にGeeklyを活用させて頂き、ご縁を頂くことができました。Geekly転職ドラフトIT・WEB・ソーシャルゲーム業界を専門とした転職支援サービスです。ギークリー独占の求人案件も扱っており、大手サービスに劣らないサービス力を誇ります。平均年収UP額148.4万円と圧倒的な年収UP率を誇るイベント型のエンジニア向け転職サービスです。毎月1回開催され、IT/Web系企業を中心に、厳選された約240社からダイレクトスカウトを受け取ることができます。Cloudでデータを収集・加工し、AWSでメルマガの自動配信を行いました。GA4からBigQueryにデータを連携して顧客分析に活用していました。GA4から流れてくるデータはネストされた構造となっており、SQLで通常のSELECTでは使用できないデータ構造となっております。Cloudでデータ分析基盤を開発しました。その際に実現できたアーキテクチャが参考になればと思いまとめてみます。Cloudでデータ取込のパイプラインを開発しました。以前、データ分析基盤のアーキテクチャについて書かせて頂きました。Cloudで時間指定の定期実行でデータ加工処理を実行していました。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。上に表示された文字を入力してください。未経験からデータアナリストになりました。経験をもとに業務や転職のことを発信できればと思います。最近の業務では、KPIレポートの作成やプロダクト分析などを行っています。CloudAWSTableauホーム検索トップサイドバータイトルとURLをコピーしました。