Serverless石川覚2022.04.18この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。データアナリティクス事業本部コンサルティングチームの石川です。Redshiftのプロダクトマネジメント・ディレクターである川本雄人さんによる2021/12時点の最新情報のレポートセッションです。現時点ですでにGAになったサービスについては注釈をつけさせていただきます。Redshiftの重要な新機能についてご紹介します。Redshiftのアーキテクチャの進化と機械学習を使用して自己最適化データウェアハウスを作成する方法について学びます。Redshiftが他の一般的なAWSサービスとどのように統合されるかを探ります。everyone昨今、データウェアハウスは、データウェアハウスの専門知識も持つ者だけでなく、一般のアナリストのような新しいペルソナが分析するユースケースが拡大しています。そのため、データウェアハウスは、ワークロードのプロビジョニングとスケーリングなどのメンテナンスタスクが容易であり、SQL開発者がクラスターにすばやく接続し、他のユーザーとコラボレーションするための簡単なツールを求められています。過去1年間、Redshiftは自動的にエラスティックかつニーズに応じてキャパシティをカスタマイズできるように多額の投資をしてきました。Preview)です。クラスタプロビジョニングや管理は不要、データアナリスト、データサイエンティスト、および開発者を含むすべてのユーザーは、クエリデータをデータウェアハウスにロードするだけで、Redshiftを使用してデータから数秒で洞察を得ることができます。Serverlessの特長は以下の点です。1.シンプルなユーザーエクスペリエンス利用者は、ノードタイプ、ノード数、およびプロビジョニングクラスターなどのクラスタ管理することなく分析に専念できます。Serverlessはこれらすべてをバックグラウンドで処理し、キャリアスループットを最適化するためのワークロード管理(WLM)、インスタンスの一時停止と再開、パッチ適用、パフォーマンス最適化タスクなど、クラスター構成を手動で構成する必要はありません。Serverlessは、ワークロードの一時的な集中が発生すると、データウェアハウスのキャパシティを自動的にプロビジョニングおよびスケーリングして、一貫性のある高速なパフォーマンスを提供します。Serverlessでも、RedshiftのSQL機能とパフォーマンス特性を利用できます。Sharing)などです。4.利用に応じた支払い料金は、使用するキャパシティとその利用時間に応じてのみ支払い、アイドル時間に対しては課金されません。V2が提供されました。SQLの実行の他にグラフを使用してクエリ結果を視覚化したり、チームのメンバーとクエリを共有して共同作業したりすることもできます。V2にアクセスするためにAWSマネジメントコンソールにアクセスする必要はありません。ブラウザからクエリエディタV2に直接アクセスでき、エンドユーザーは独自のIDプロバイダーを使用してログインすることもできます。views(AutoMV)機能は、機械学習を使用してワークロードやスキーマデータを継続的に監視し、有益な場合は新しいマテリアライズドビューを自動作成・削除します。MVをユーザーで作成および保守するために必要な専門知識がなくても、ユーザーが作成したMVと同様に、MVのすべての利点を提供します。AutoMVは、マテリアライズド・ビューを作成して最新の状態に保つためのコストと、クエリの待ち時間に期待されるメリットとのバランスを取ります。APIは、イベントドリブンなアプリケーションやETLワークロードの自動化など、さまざまなユースケースに使用されます。APIを使用して、アプリケーションから直接Redshiftのデータにアクセスしています。APIは、Python、GO、Javaなどの一般的なプログラミング言語を使用してデータアクセスを簡素化します。Redshiftプラグインの提供を開始しました。人気のあるオープンソースツールであるGrafanaを用いて分析および監視システムをオンラインでシステムテーブルとビューにクエリを実行してメトリックの探索できるようになります。dataRedshiftは、データレイクと専用のデータストアの間の両方の長所を活かした、データウェアハウス、運用データベース、およびデータレイク全体で最適な統合を提供します。Redshiftの最新のデータ戦略アプローチとして、4つの重要なトレンドがあります。Spectrumを利用して、S3データレイクにある数TBのjsonやParquetなどのオープンスタンダードファイル形式のデータをクエリして、さまざまな洞察を得ています。sharingの統合をサードパーティのデータセットを使用します。Queryを使用します。MLと呼ばれる機能を導入しました。Sharingは、シンプルでセキュアに複数のクラスタ間でライブデータを共有する機能で、お客様はデータのコピーや移動をすることなく、トランザクション的に一貫性のある方法でデータにアクセスすることができます。クラスタ毎にワークロードを分離し、それぞれのパフォーマンス要件に合わせてワークロードをサイジングできます。各ビジネスグループの独自のデータウェアハウスを、組織横断的なコラボレーションもあります。Sharingにより、お客様は異なる会社間でデータを共有できるようになりました。Scalingなど、いくつかの性能強化も行っています。SharingはGAになりました。Sharingを有効にするとお客様は企業間でデータを共有できるのと同じように、データマーケットプレイスを介してサードパーティのデータセットにアクセスできるようになりました。Redshiftにあるマーケットプレイスでのサードパーティのデータセットの検索、サブスクライブされたクエリ、分析がさらに簡単になります。MLは、Redshiftのデータを使い慣れたSQLコマンドを使用して機械学習モデルを簡単に作成、トレーニング、デプロイできるようになりました。SageMakerを使って機械学習を作成し、トレーニングできるようになります。そのため、MLモデルはRedshift内でローカルにデプロイされ、大規模な推論を実行することができます。シュナイダーエレクトリックでは、気候変動と排出量の削減に注目しながら、人類が信頼できるエネルギーの基本的権利とデジタルへのアクセスを実際に利用できるようにすることで、新しい機能を構築しようとしました。データストアランドスケープの中核でこれを行うために、データレイクフェデレーションがあります。企業全体のデータストアであるデータレイクの1つだが、データフェデレーションの考え方で一緒に運用する一種のデータレイクのネットワークもあります。これらすべてがAWSテクノロジースタックの下で実行されるように努めています。データの視覚化とデータの使用に関しても、マルチベンダーの視覚化戦略を通じて洞察を生み出します。ビッグデータアーキテクチャの旅に関しては、トランザクションデータ用のエンタープライズ構築のデータハブのようなものが多くあります。何年にもわたって、AWSとのパートナーシップを開始し、今では企業全体のデータレイクの10,000人のユーザーレバレッジに非常に密接に取り組んでいます。データストアの状況に関して、意思決定サプライチェーンまたは統合データレイヤーと分析データレイヤーをサポートしているのは、RedshiftのRA3インスタンスです。scaleRedshiftは、サービス開始以来あらゆる規模で最高の価格パフォーマンスを提供することに多額の投資をしました。RA3ノードはストレージを管理し、同時実行性のスケーリングにより、顧客は小規模から始めてペタバイト規模のワークロードに成長することができました。Accelerator)を使ってクエリのレスポンスをさらに改善します。storageRA3ノードタイプは、コンピューティングとストレージの独立したスケーリングを可能にし、データを耐久性のあるS3にコミットされることで、ほぼ無制限のスケーラビリティが可能になります。Sharingなどの新機能が可能になります。ノードタイプは、16xlarge、4xlarge、xlplusのノードタイプに加え、xlplusはシングルノードクラスタ構成も可能になり、DS2からRA3へのマイグレションやリザーブドインスタンスのマイグレーションパスも提供されます。WLM)によりパフォーマンスとスループットを最適化します。Scalingは、WLMの同時実行数に基づきスケーリングクラスタを動的にスケーリングして、アプリケーションを変更せずに高い同時実行性とクエリの急増に対応できます。Sharingを組み合わせ、マルチクラスター環境でワークロードを分離する構成も可能になりました。Scalingは、キャパシティを事前にプロビジョニングすることなく、予測不可能な読み取りワークロードを動的にスケーリングして処理できます。Scalingのクレジットを提供し、コストを予算内に保つために使用量を監視および制限するための機能も提供しますので、安心して導入いただけます。Preview)も発表しています。Accelerator)は、Redshiftが大規模なスキャンと集計を使用するクエリのパフォーマンスを大幅に高速化できる新しい分散型ハードウェアキャッシュです。AQUAは、大量のデータが存在するストレージレイヤの近くでデータを処理し、ネットワーク上を移動するデータが少なくすることで、ネットワークが大規模なデータ処理のボトルネックになるという課題を回避できます。AQUAは、AWSが設計したチップとFPGAチップを含む、クラウドデータ、ウェアハウジング、分析用の最初のカスタムハードウェア上に構築されており、汎用CPUで実行できるものと比較して桁違いに高速です。スキャン、フィルタリング、集約などの一般的な演算子を処理できます。AQUAは、コードの変更は不要で、RA3ノードで追加費用なしで利用できます。controlによるセキュリティ強化、さまざまなツールのサポートなど、さまざまな分野でRedshiftを強化しました。問題のためのHyperLogLogなどの演算子を導入jsonフォーマットのUNLOADをサポート行から列に変換のPIVOT列から行に変換のUNPIVOTデータ型のサポートSUPER型による半構造化データのサポートVARBYTE型のバイナリデータのサポートGEOMETRY型による空間データのサポートRSQLのBTEQスクリプトをサポートお客様のニーズに答えてRedshiftは進化しますこのプレゼンテーションでさまざまな新機能を取り上げましたが、速度は引き続き重要であり、お客様へのさらなる支援、機能改善するために迅速に革新を続けます。最後にre:Invent2021が終わってからかなり時間が経過しましたが、内容がよくまとまっており、情報の古さを感じなかったため、レポートさせて頂きました。何より、川本さんがRedshiftでre:Invent登壇ということもあり、勝手に誇らしい気持ちになっていました。私のre:Invent2021はまだ終わっていないということでご勘弁してください。コスト最適化、サーバレス化など、過去5年間のRedshiftの進化を振り返ると、単に機能が追加されたというよりも、追加された機能それぞれが相乗効果をもたらす進化を感じています。AQUAについては、今後さらなる進化が控えているのではないかと楽しみです。最後に、今年のre:Invent2022は、川本さんのセッションをラスベガスでリアルタイムで聞きたいです。Redshift?AWSの川本さんが、もう少しラフにRedshiftについて語ってる動画もありますのでお楽しみください。