Les LLMs (Large Language Models) génèrent leur réponses par prédiction du caractère ou du token suivant parmi les différents poids attribué a celui ci par rapport au précédent.
on donne donc une base de donnée au modèle, cela va de l'intégralité des œuvres de Shakespeare, la totalité de Wikipédia, Reddits, etc. 
Il existe des site ou l'on peut trouver différent dataset de différente taille contenant plus ou moins d'informations de plus ou moins bonne qualité.
Les datas prenant de plus en plus de place il est nécessaire de "tokeniser" les datas afin de ne pas avoir à tout explorer lettre par lettre et gagner ainsi en temps de traitement.
En effet les modèles prédise leur réponse en fonction des tokens précédent, si un token = un caractère, la puissance de calcul nécessaire a l'entrainement est multipliée.
tous les LLMs ne sont pas égaux et le milieux est en constante évolution. en ce moment nous vivons une véritable révolution dans le domaine du ML (Machine Learning)
Et les modèles on besoin de données de qualité plus que de quantités.
avec énormément de données de bonne qualité les LLM aurais besoins de moins de paramètres afin de fournir des résultat équivalent à ceux du modèle davinci003 d'Openai
comme le modèle Llama de l'entreprise meta dont alpaca7B arrive a générer du texte efficacement en étant entrainé sur 1 trillion de token.
LLM (โมเดลภาษาขนาดใหญ่) สร้างการตอบสนองโดยการทำนายอักขระหรือโทเค็นถัดไปจากน้ำหนักที่แตกต่างกันที่กำหนดให้สัมพันธ์กับอักขระก่อนหน้า เราจึงจัดทำฐานข้อมูลให้กับโมเดล ซึ่งรวมถึงผลงานของเช็คสเปียร์ทั้งหมด วิกิพีเดียทั้งหมด Reddits ฯลฯ มีไซต์ต่างๆ ที่คุณสามารถค้นหาชุดข้อมูลต่างๆ ในขนาดต่างๆ ที่มีข้อมูลคุณภาพดีไม่มากก็น้อย เนื่องจากข้อมูลใช้พื้นที่มากขึ้นเรื่อยๆ จึงจำเป็นต้อง "โทเค็น" ข้อมูล เพื่อจะได้ไม่ต้องสำรวจทุกอย่างทีละตัวอักษร และช่วยประหยัดเวลาในการประมวลผล ในความเป็นจริง แบบจำลองคาดการณ์การตอบสนองตามโทเค็นก่อนหน้า หากโทเค็น = อักขระ พลังการประมวลผลที่จำเป็นสำหรับการฝึกอบรมจะถูกคูณ LLM ทั้งหมดไม่เท่ากันและสภาพแวดล้อมก็มีการพัฒนาอยู่ตลอดเวลา ในขณะนี้ เรากำลังประสบกับการปฏิวัติที่แท้จริงในด้าน ML (การเรียนรู้ของเครื่อง) และแบบจำลองต้องการข้อมูลที่มีคุณภาพมากกว่าปริมาณ ด้วยข้อมูลคุณภาพดีจำนวนมาก LLM จะต้องมีพารามิเตอร์น้อยลงเพื่อให้ได้ผลลัพธ์ที่เทียบเท่ากับโมเดล davinci003 จาก Openai เช่นเดียวกับโมเดล Llama จากบริษัทเมตาที่ alpaca7B จัดการเพื่อสร้างข้อความอย่างมีประสิทธิภาพโดยการฝึกอบรมเกี่ยวกับโทเค็น 1 ล้านล้านโทเค็น
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence