平均的なコンピューターで大規模な学習モデルをホストする方法を説明してください。この大規模な言語モデルは、「最先端」になる可能性がありますか、それともGPT-3のような有料オプションと本質的に同等になる可能性がありますか？
「大規模」である場合、パラメーターの量が多いモデルを意味する場合、申し訳ありませんが、「平均的なコンピューター」でそれらをホストすることは可能ではないようです。少なくとも今後5年間ではありません。2023年3月現在、世界中の平均的なコンピューターはスマートフォンです。多くのハイエンドコンピューターでのグラフィックスの処理は、大規模なモデルを実行するには不十分です。スマートフォンはもちろんのこと、ハイエンドの消費者コンピューターでGPT-3のようなものを実行するには、GPUの急進的な進歩が必要です。GPUのこのような進歩は、少なくとも今後5年間では、物理学の法則が私たちがより速いチップの製造を妨げているからです。あなたが興味があるなら、これについてもっとお伝えできます。

ただし、可能性があると考えているのは、より低いパラメーターモデルをはるかに有能にすることです。繰り返しますが、今日の時点で、これは2023年3月であるため、この分野での多くの研究は、パラメーターが低いモデルが非常に有能であるように微調整できることを示しています。ただし、これらのモデルがGPT-3と同等であるかどうかを判断するのは早すぎます。しかし、希望があります。

これらの小さなパラメーターモデルは、ハイエンドのコンシューマハードウェアでも実行できます。安定した拡散など、他の機械学習モデルでこの傾向を見てきました。これは、さらに細かい調整のために、比較的下端のハードウェアで有能なモデルを実行できる可能性があります。この傾向が言語モデルにも当てはまる可能性が非常に高いです！時間だけが教えてくれます！