Data分析サービスがマルチクラウド上でどのように運用されるかについてのセッションはじめにマルチクラウドは最近になってかなり注目されているテーマであると同時に、避けて通れない課題です。AWSには多少多様で良いサービスを保有していますが、残念ながら顧客の使用事例がこれに適していない場合が存在します。そのため、顧客は外部サービスやオンプレミス、他のクラウドベンダーにデータを保管して使用しています。このような問題をどのようにアプローチして解決するのか確認するためにこのセッションを申し込みました。Athenaを使ってこのような問題を簡単に解決できることを示しています。storageからデータを追加で取得して統合するプロセスを紹介します。一般的にマルチクラウドアーキテクチャーで悩むポイントは、レイテンシー、データ複製、ソースデータ分析の3つが挙げられます。最終的には、データの複製がなくても、他のソースのデータを分析してAWSで使用できるようにすることが私たちの目標です。AthenaはAWSの代表的なサーバーレスSQL分析システムです。Athenaを使用するためには、特別な設定が必要なくすぐに使用することができ、複数のデータタイプやフォーマットをサポートし、AWSでインフラを管理するため、性能に対する設定も必要ありません。クエリに対する費用は、データのスキャン量に比例して請求される構造で、ファイルを圧縮して使用すれば、より低コストでAthenaを利用することができます。DB2,...など様々なオプションを提供すると同時に簡単に設定できるようになっています。CodeベースでSparkコードを作成することができます。サーバーレスで使用した分だけ課金され、パフォーマンスを簡単に調整することができます。notebook環境で最近話題になっているAI関連技術も一緒に使ってみることができます。CodeWhispererと結合されており、これはnotebookでコードを書く時、単純にコメントを書くだけでサンプルコードを作成してくれます。解決したい状況を想定してみましょう。Cloudの使用に慣れており、様々なデータを一箇所に集めて分析したいと思っています。Gen2に保管されています。connectionを生成することができます。生成されたconnectionを通じて接続されたデータベースに関する情報も写真のように確認することができます。connectionを生成する過程の一部を撮影した写真です。実際は、connectionごとに要求する情報や仕様が違うので、この部分は注意して設定する必要があります。accountのデータをAthenaを使って検索するシーンです。バックグラウンドではAthenaが直接データを取得する構造ではなく、Cloudformationを通して生成されるLambdaが該当データベースやソースのデータやメタ情報を取得する方式で構成されてるので、Lambdaが持ってる多少の制約に従うことができます。データがLambdaのメモリサイズを超える場合は、S3にそのデータを一時的に保存して使います。次はGlueを使ってそのデータを分析してみます。上記は、コネクタを作成するシーンの一部を写真に残したものです。Placeで管理型でサポートします。私たちはGlueのバージョンに合うコネクタのバージョンをテストしたりググる必要なく簡単に選択して使うことができます。workersを設定します。notebookで使うsparkクラスタ環境に対する設定を意味します。sessionが実行されるまでspark環境に対する費用が請求されません。私たちは色んなソース環境でのデータ分析のため、3つのコネクタを生成して追加しました。コネクションを使う方法は下記の通りです(例示の方法はsnowflakeでBigquery,DB2などソースによって使い方が変わることがあります。)次のコードを通してGlue環境で私たちは簡単にsnowflakeのデータソースを取得してglueで分析することができます。CodeWispererで追記されたコードでsnowflakeデータソースのデータを確認してみましょう。ような方法で作成し、下記の3行のコードはなんとその注釈を使って作られたコードです!このコードを実行した時、下記のように正常なコードの結果値が出ることが確認できます。スキーマからカウント(切れて見えないですが)サンプルデータも普通にsnowflakeのデータが見えることが確認できます。セッションを終えてAthena、GlueはAWSの代表的な分析システムの一つです。一般的にはAWSのS3ベースのファイルデータを分析するためによく使われますが、今回のセッションを通じてAWS内部のサービスのデータだけでなく、外部の様々なソースのデータを簡単に分析できるように準備されていることも確認することができました。