全体的なパフォーマンス向上につながる一括処理、PagedAttention、量子化などの重要な最適化がサポートされています。ワークロード用にモデルサーバーを設定する際には、以下の事項を確認する必要があります。入力長が長いユースケースと出力長が長いユースケース向けの最適化はどのように実行するか。つのフェーズで構成されています。キャッシュを構築します。フェーズと比較すると、スループットが高く、レイテンシが低いオペレーションです。キャッシュの状態と以前に生成されたトークンに基づいて新しいトークンが順番に生成されます。フェーズと比較すると、スループットが低く、レイテンシが高いオペレーションです。ユースケースによって、入力長がより長くなる場合(要約、分類など)、出力長がより長くなる場合(コンテンツ生成)、入力長と出力長がほぼ同じになる場合があります。スループットの比較です。倍であることを示しています。入力パターンをシミュレートし、それらのパフォーマンスを検証できます。パフォーマンスが最適化されるインフラストラクチャを選択します。利用するため、スループットの向上に不可欠です。出力長と静的バッチを使用した異なるバッチサイズの比較により、スループットとレイテンシへの影響が示されています。倍向上することを示しています。倍向上させることができます。右のグラフは、一括処理のレイテンシへの影響を示しています。レイテンシの増加を最小限に抑えながら、より大きなバッチサイズを処理できることを示しています。理想的なバッチサイズを選択するには、レイテンシ目標に達するか、スループットがそれ以上改善されなくなるまでバッチサイズを増やします。ツールで提供されるモニタリングの自動化を使用して、モデルサーバーのバッチサイズをモニタリングでき、それに基づいて設定に最適なバッチサイズを特定できます。バッチ処理を使用してスループットを改善します。最適なバッチサイズは、レイテンシ要件に依存します。選択してコストを削減します。サービングのパフォーマンスにどのように影響するのかを説明しました。スループットを最大化するための理想的な設定を特定することの重要性を示しています。リポジトリに記載されている手順を踏んでください。関するドキュメントに記載されている手順を踏んでください。モデルをデプロイする方法が記載されています。モデルの最適化と構成の提供に関するドキュメントをご覧ください。controlsヘルプLanguage‪English‬‪Deutsch‬‪Français。