AIのエコシステムとその開発と展開を加速するための主要な考慮事項、およびベストプラクティスとガイドラインを紹介するセッション。AI関連のサービスや機能がたくさんリリースされたような印象を受けました。AIが最新のトレンドであることを意味します。AIの概念とどのような段階で構成されるのか、関連AWSサービスは何があるのかなど、このセッションを聞くことになりました。AI(生成的人工知能)のエコシステムについての紹介と、その開発と展開を加速するための主な考慮事項、そしてベストプラクティスとガイドラインについて知ることができるセッションです。顧客事例を通じて、実務での適用可能性と効果についての情報も得ることができます。AI(生成型人工知能)は、既存の膨大なデータセットから学習し、構造とパターンを識別して新しいコンテンツを想像し、革新し、生成する能力を意味します。AIアプリケーションを開発・展開するための技術スタックは、データ層、モデリング層、展開・応用層で構成されています。各レイヤーは相互に通信し、開発およびデプロイメントパイプラインを活性化します。AIエコシステムにおける主な役割は、モデルプロバイダー、チューナー、コンシューマーに分けることができ、それぞれの役割は特定の技術スキルを必要とします。Model)を設計、訓練、提供する役割を担います。・チューナーは、モデルの最適化と微調整による性能向上を担当します。・コンシューマーは、実際にモデルをアプリケーションに統合する役割を果たします。Model(FM)は、様々なサブタスクのための大規模な事前訓練された人工知能モデルを意味します。このようなFMの構築は以下のような反復的なプロセスです。ビジネス問題を解決するためのミッション学習プロセスを開始します。その後、モデルチューニングを通じてモデルの性能を最適化します。性能評価後、モデルがうまく動作する場合、モデルをデプロイし、プロダクション環境でモデルをモニタリングします。ミッション学習モデルは、トレーニング時点から時間が経つにつれて予測能力が低下するため、新しいデータでモデルを再トレーニングし、適応させることが重要です。最後に、モデルをワークフロー全体に統合します。Foundationモデルを使用すると、生成型AIアプリケーションを迅速かつ安全に構築することができます。Whisperは、検出が難しい脆弱性を見つけ、解決策を提案するためのセキュリティスキャン機能を備えています。ための2つの新しいLLMで構成されており、ユーザーが提供したデータから有害なコンテンツを検出して除去し、適切でないコンテンツをフィルタリングする機能も提供し、安全なアプリケーション構築を支援します。tuning(事前訓練されたモデルを取得して特定のタスクに対して調整する)という二つのアプローチがあります。大規模なデータセットが利用でき、リソースと時間が多い場合はPre-trainingが有用であり、作業に必要なデータが少なく、特定のドメインに特化した場合、また、比較的データが少なく、時間が不足している場合はFine-tuningがより効果的な場合があります。データの量、作業の特性、使用可能なリソースと時間、そしてモデルの目的などによって、Pre-trainingとFine-tuningのどちらの方法を選択するかを決定する必要があります。Generation)があります。この技術は、ランタイムで正確な情報を検索し、モデルがより正確に質問に答えられるようにするものです。そのために、データセットをテキストからエンベデッドに変換し、ベクトルデータベースに保存します。顧客の要求が来ると、そのデータベースから必要な情報を取り出し、モデルに伝え、質問に答えるのに役立ちます。このようにして、モデルは特定の質問に対してより正確なコンテキストを得ることができます。Lambdaがあります。Lambdaの場合、関数実行に15分の制限と、最大10GBのストレージスペースしか提供しませんが、ECSにはこのような制限はありません。ECSを使用することをお勧めします。AIモデルをデプロイする場合、モデルをアプリケーションにどのようにロードするかを考慮する必要があります。AIモデルのサイズは非常に多様であり、アプリケーションとモデルが可能な限り迅速に実行され、リクエストに応答できるように、モデルを迅速にロードする必要があります。APIを利用してランタイムにモデルを取得することができます。モデルをコンテナイメージ自体にバンドルして、大規模な展開可能なイメージを作成することもできます。AI基盤モデルは様々な応用分野に活用することができ、このようなFoundationモデルは後日、フォローアップ作業に活用することができます。Applicationと、モデルの効果的な統合が重要であり、プロンプトエンジニアリングとRAG(検索強化生成)の使用が重要です。Fargateを使用することをお勧めします。ECSは、EC2とFargateの実行タイプにより、アクセラレーションとサーバーレスオプションを提供し、セルフホスティングのための豊富な機能を提供します。modelに関して多くのことを学ぶことができました。AIが最新トレンドであることを実感することができました。既存の経験があるテーマではなく、やや理解しにくい点が多かったですが、テーマがとても興味深く、有益な時間でした。