Zero-ETL?ビジネスはデータから洞察を得、それを基に顧客体験を向上させます。有意義なデータを見るためには、様々なソースのデータを集め、一つの分析プラットフォームで分析する必要があります。問題は、これを実装するのが思ったより簡単ではないということです。ETLパイプラインを構築するのは数週間あるいは数ヶ月かかることもあり、このようなパイプラインを維持することも多くのリソースを必要とします。このため、AWSではETLをより簡単にできるサービスと機能を提供しています。この章の表で左側はデータソースを準備するサービスと機能を示しており、右側はデータを分析して消費するサービスを示しています。下記のような機能とサービスを通じてETLプロセスの効率を高めることができます。Redshiftへのデータコピーを自動化し、このような複製作業をスケジューリングします。previewをリリース。Exchange機能を活用し、他のアカウント間のデータを簡単に共有することができます。これにより、コンシューマーが簡単にデータを共有し、2つの組織間のデータ共有が容易になります。Architecturesデータレイクは様々なフォーマットの生データを保存する中央ストレージの役割を果たし、データレイクにデータを保存することでコスト最適化にも役立ちます。データウェアハウスは、高速性能と低レイテンシーに基づく準リアルタイムレポートが必要な場合に使用します。複雑な集計やビジネスロジックの実装に適しています。LakeRedshiftは継続的に発展しており、様々なサービスとの連動のための様々な機能を提供しています。データを分析する上でパフォーマンスは最も重要な要素であり、AWSは継続的にRedshiftのパフォーマンスを改善するために投資してきました。表内の最初の指標と2番目の指標を比較すると、Redshiftのパフォーマンスは昨年に比べて最大45%向上しました。statisticsを基にクエリを計画することで、データレイククエリを最適化することで、さらにパフォーマンスを改善しました。Glueデータカタログがリリースされました。これで、Redshift内でGlueデータカタログを使用するために別途外部スキーマを作成する必要がなくなりました。codeベースでデータingestionが可能で、重複データの読み込みを防ぐことができます。この時、コマンド実行やスキャン関連費用は発生せず、ストレージ費用が追加された分だけストレージ費用が発生します。jobが実行されるとコンピューティングが必要なので、この時にサーバーが実行されます。FormationでRedshiftデータも管理できるようになりました。リクエストが多かった機能の一つですが、Redshiftデータを共有する際にもLakeFormationでcolumn-level、row-levelで細かくアクセス制御が可能です。catalogがマルチエンジンビューに対応しました。catalogでビューを作成すると、Athena、Redshiftなどの他のエンジンでもクエリを行うことができます。Formationで便利にアクセス制御が可能になりました。セッションを終えて以上、Redshiftの様々な新機能を紹介しましたが、Redshiftが他のAWSサービスとの連動がより簡単になることで、AWS上のデータパイプライン構築がより便利で拡張性が向上することが確認できました。