Indeed! Typically model performance scales with parameter count and number of tokens as a power law. A power law is a relationship in which a relative change in one quantity gives rise to a proportional relative change in the other quantity, independent of the initial size of those quantities. Here are some seminal papers that investigate how scaling dataset and model size affects the performance of large language models.

  - Scaling Laws for Neural Language Models (Kaplan 2020)
  - Training Compute-Optimal Large Language Models (Hoffman 2022)
  -  Scaling Language Models: Methods, Analysis & Insights from Training Gopher (Rae 2021)
อย่างแท้จริง! โดยทั่วไปแล้ว ประสิทธิภาพของโมเดลจะปรับขนาดด้วยการนับพารามิเตอร์และจำนวนโทเค็นตามกฎกำลัง กฎกำลังคือความสัมพันธ์ที่การเปลี่ยนแปลงสัมพัทธ์ในปริมาณหนึ่งทำให้เกิดการเปลี่ยนแปลงสัมพัทธ์ตามสัดส่วนในปริมาณอื่น โดยไม่ขึ้นกับขนาดเริ่มต้นของปริมาณเหล่านั้น ต่อไปนี้เป็นเอกสารสำคัญบางส่วนที่ตรวจสอบว่าการปรับขนาดชุดข้อมูลและขนาดโมเดลส่งผลต่อประสิทธิภาพของโมเดลภาษาขนาดใหญ่อย่างไร - กฎการปรับขนาดสำหรับโมเดลภาษาประสาท (Kaplan 2020) - การฝึกอบรมโมเดลภาษาขนาดใหญ่ที่ปรับให้เหมาะสมที่สุดทางการคำนวณ (Hoffman 2022) - การปรับขนาดโมเดลภาษา: วิธีการ การวิเคราะห์ และข้อมูลเชิงลึกจากการฝึกอบรม Gopher (Rae 2021)
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence