それで、私たちはどのような機器を見ていますか？
* GPT-JはTPU V3-256で約5週間訓練されました
* OPTは992 NVIDIA 80GB A100 GPUで約2か月間トレーニングされ、手動または自動再起動を必要とするその間にいくつかのハードウェア障害に対処する必要がありました。
*ブルームは、384 NVIDIA A100 80GB GPUを搭載したJean Zayで訓練され、約4か月かかりました

Googleが使用するTPUは販売されておらず、単一のNVIDIA 80GB A100 GPUは、すべてを配線してすべてを冷却するために必要な追加コンポーネントに加えて、10,000ドル-20,000ドルの費用がかかります。それらと同じ時間尺度でモデルをトレーニングするために、300 A100 GPUで十分であると仮定した場合、施設がそれらをトレーニングするコストは約600万ドルかもしれません。