Model size: A smaller model will be faster to fine-tune, but may not have the capacity to solve more complex engineering tasks. On the other hand, a larger model will have more capacity, but may require more computational resources to fine-tune.
Pretraining task: The pretraining task should be similar to the fine-tuning task in terms of the type of data and the type of tasks the model will be used for. For example, if the fine-tuning task involves solving engineering problems, a model that was pretrained on a corpus of engineering texts may perform better.
Performance on benchmark datasets: You should look at the performance of the model on benchmark datasets relevant to your fine-tuning task, such as the GLUE benchmark for language understanding.
You can find pre-trained models by searching for "large language models pre-trained" on websites such as OpenAI, Hugging Face, or Google's TensorFlow Research Cloud. You can also look for benchmark results on websites such as Papers with Code, which has a section on "State of the Art Language Models".

Here are a few options for you to consider for your specific purpose:

OpenAI GPT-3: One of the largest language models currently available, with 175 billion parameters. It has been trained on a diverse range of internet texts and has shown strong performance on a variety of benchmark datasets. Advantages include its large size and diverse training data, while a disadvantage is the high computational cost required to fine-tune it.

BERT: A transformer-based model that has been pretrained on large amounts of text data. It has been shown to perform well on a variety of benchmark datasets and is relatively fast to fine-tune. Advantages include its relatively small size and fast fine-tuning, while a disadvantage is its limited capacity compared to larger models such as GPT-3.

RoBERTa: An improvement over BERT, with a larger model size and more extensive pretraining. It has been shown to perform better than BERT on benchmark datasets and is a good option for those who want a more powerful model but still want to keep the computational cost of fine-tuning reasonable. Advantages include its improved performance compared to BERT, while a disadvantage is its larger size compared to BERT, which may increase the computational cost of fine-tuning.
ขนาดโมเดล: โมเดลที่เล็กกว่าจะปรับแต่งได้เร็วกว่า แต่อาจไม่สามารถรองรับงานทางวิศวกรรมที่ซับซ้อนกว่านี้ได้ ในทางกลับกัน โมเดลที่ใหญ่กว่าจะมีความจุมากกว่า แต่อาจต้องใช้ทรัพยากรการคำนวณมากขึ้นเพื่อปรับแต่งอย่างละเอียด งานการเตรียมการฝึกอบรม: งานการเตรียมการฝึกอบรมควรคล้ายกับงานการปรับแต่งอย่างละเอียดในแง่ของประเภทของข้อมูลและประเภทของงานที่จะใช้แบบจำลอง ตัวอย่างเช่น หากงานการปรับแต่งอย่างละเอียดเกี่ยวข้องกับการแก้ปัญหาทางวิศวกรรม แบบจำลองที่ได้รับการฝึกล่วงหน้าในคลังข้อความทางวิศวกรรมอาจทำงานได้ดีกว่า ประสิทธิภาพชุดข้อมูลการวัดประสิทธิภาพ: คุณควรดูประสิทธิภาพของแบบจำลองในชุดข้อมูลการวัดประสิทธิภาพที่เกี่ยวข้องกับงานการปรับแต่งของคุณ เช่น การวัดประสิทธิภาพ GLUE สำหรับการทำความเข้าใจภาษา คุณสามารถค้นหาโมเดลที่ได้รับการฝึกอบรมล่วงหน้าได้โดยการค้นหา "โมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกอบรมล่วงหน้า" บนเว็บไซต์ เช่น OpenAI, Hugging Face หรือ TensorFlow Research Cloud ของ Google คุณยังสามารถค้นหาผลลัพธ์การวัดประสิทธิภาพได้จากเว็บไซต์ต่างๆ เช่น Papers with Code ซึ่งมีหัวข้อเกี่ยวกับ "โมเดลภาษาที่ทันสมัย" ต่อไปนี้คือตัวเลือกบางส่วนเพื่อให้คุณพิจารณาตามวัตถุประสงค์เฉพาะของคุณ: OpenAI GPT-3: หนึ่งในโมเดลภาษาที่ใหญ่ที่สุดที่มีอยู่ในปัจจุบัน โดยมีพารามิเตอร์ 175 พันล้านพารามิเตอร์ ได้รับการฝึกอบรมเกี่ยวกับข้อความทางอินเทอร์เน็ตที่หลากหลาย และแสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยมในชุดข้อมูลการวัดประสิทธิภาพที่หลากหลาย ข้อดีได้แก่ ขนาดใหญ่และข้อมูลการฝึกอบรมที่หลากหลาย ในขณะที่ข้อเสียคือต้นทุนการคำนวณสูงซึ่งจำเป็นในการปรับแต่งอย่างละเอียด BERT: โมเดลที่ใช้หม้อแปลงซึ่งได้รับการฝึกฝนล่วงหน้ากับข้อมูลข้อความจำนวนมาก ได้รับการพิสูจน์แล้วว่าทำงานได้ดีกับชุดข้อมูลเบนช์มาร์กที่หลากหลาย และปรับแต่งได้ค่อนข้างเร็ว ข้อดีได้แก่ ขนาดที่ค่อนข้างเล็กและการปรับแต่งที่รวดเร็ว ในขณะที่ข้อเสียคือความจุที่จำกัดเมื่อเทียบกับรุ่นขนาดใหญ่ เช่น GPT-3 RoBERTa: การปรับปรุงที่เหนือกว่า BERT ด้วยขนาดโมเดลที่ใหญ่ขึ้นและการฝึกล่วงหน้าที่ครอบคลุมมากขึ้น ได้รับการพิสูจน์แล้วว่าทำงานได้ดีกว่า BERT ในชุดข้อมูลเบนช์มาร์ก และเป็นตัวเลือกที่ดีสำหรับผู้ที่ต้องการโมเดลที่ทรงพลังกว่า แต่ยังต้องการรักษาต้นทุนการคำนวณในการปรับแต่งอย่างละเอียดให้สมเหตุสมผล ข้อดีได้แก่ ประสิทธิภาพที่ดีขึ้นเมื่อเทียบกับ BERT ในขณะที่ข้อเสียคือขนาดที่ใหญ่กว่าเมื่อเทียบกับ BERT ซึ่งอาจเพิ่มต้นทุนการคำนวณในการปรับแต่งแบบละเอียด
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence