* GPT-J was trained on a TPU v3-256 for about five weeks
* OPT was trained on 992 NVIDIA 80GB A100 GPUs for about two months, and had to deal with several hardware failures over that time that required either manual or automatic restarts.
* Bloom was trained on the Jean Zay, which had 384 NVIDIA A100 80GB GPUs, and took about four months

The TPUs used by google are not for sale, and a single NVIDIA 80GB A100 GPU can cost 10,000$-20,000$, in addition to the extra components needed to wire everything together and cool everything. In order to train a model on the same time scale as those, if we assumed 300 A100 GPUs was enough, the cost for a facility to train them might be around 6 million$.
 GPT-J ได้รับการฝึกอบรมเกี่ยวกับ TPU v3-256 เป็นเวลาประมาณห้าสัปดาห์ * OPT ได้รับการฝึกอบรมเกี่ยวกับ GPU NVIDIA 80GB A100 992 ตัวเป็นเวลาประมาณสองเดือน และต้องจัดการกับความล้มเหลวของฮาร์ดแวร์หลายครั้งในช่วงเวลานั้นซึ่งจำเป็นต้องรีสตาร์ทด้วยตนเองหรืออัตโนมัติ * Bloom ได้รับการฝึกฝนเกี่ยวกับ Jean Zay ซึ่งมี GPU NVIDIA A100 80GB จำนวน 384 ตัว และใช้เวลาประมาณสี่เดือน TPU ที่ Google ใช้ไม่มีวางจำหน่าย และ GPU NVIDIA 80GB A100 ตัวเดียวมีราคา 10,000$-20,000$ นอกเหนือจาก ส่วนประกอบพิเศษที่จำเป็นในการเชื่อมทุกอย่างเข้าด้วยกันและทำให้ทุกอย่างเย็นลง เพื่อฝึกโมเดลในช่วงเวลาเดียวกันกับโมเดลเหล่านั้น ถ้าเราสมมติว่า A100 GPU จำนวน 300 ตัวก็เพียงพอแล้ว ค่าใช้จ่ายสำหรับสิ่งอำนวยความสะดวกในการฝึกโมเดลเหล่านั้นอาจอยู่ที่ประมาณ 6 ล้านเหรียญสหรัฐ
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence