投稿されたものの抄訳です。基盤モデルのサービングには多額のコストがかかる場合があります。プラットフォームが必要とされています。バランシングなどの機能によって、この要件を満たします。優れた費用対効果でサービングする方法を検討する必要があります。ツールを開発しました。このツールを使用して、このようなパフォーマンスのトレードオフを測定および分析できます。スループットを最大化するための推奨事項です。推論スタックを設定する際にデータドリブンな意思決定を行うことができます。プラットフォームを最適化する方法についても説明します。インフラストラクチャに関する決定モデルに適合し、費用対効果に優れたインフラストラクチャを選択するには、以下の事項を確認する必要があります。モデルの量子化が必要か。必要な場合は、どの量子化を使用すべきか。モデルに適合するマシンタイプをどのように選択するか。これらの事項を詳しく見ていきましょう。モデルの量子化が必要か。どの量子化を使用すべきか。メモリの量を削減する手法です。そのために、重みと活性化をより精度の低いデータ型で表します。量子化によってメモリ使用量が削減されるため、コストが低下し、レイテンシとスループットが改善されます。ある時点で、モデルの量子化によってモデルの精度が著しく低下します。同じ精度を実現します(こちらのペーパーで示されているようにモデルによって差があります)。ビット適合率で公開されています。キャッシュのメモリ使用量は、モデルサーバーによって個別に量子化されない場合はほぼ同じです)。多くの場合、精度の低下は最小限に抑えられます。ビット以下の量子化では精度が低下します。ビットの量子化を使用する前に、必ずモデルの精度を評価してください。Quantization(AWQ)のようなトレーニング後の量子化手法もいくつかあります。自動化ツールを使用して、さまざまな量子化手法で任意のモデルをデプロイし、ニーズとの適合性を評価できます。量子化を使用して、メモリの使用量とコストを削減します。ビット未満の場合は、必ず最初にモデルの精度を評価してください。モデルに適合するマシンタイプをどのように選択するか。必要なマシンタイプを簡単に計算するには、モデルのパラメータ数とモデルの重み付けのデータ型を考慮します。モデルでは以下が必要です。モデルでは以下が必要です。メモリの量を示しています。上の表はあくまで参考用です。7b)と異なる場合があります。ページに正確なパラメータ数が記載されています。0.8)を使用できます。必要になることがあります。キャッシュにより多くのメモリを割り当てる必要があり、それがメモリ使用量の大部分を占めることが予想されます。シャーディングを使用します。