For my machine learning research project I want to fine-tune a large language model (LLM) for a specific reinforcement learning task. In this task an agent is a LLM augmented by execution environment (e.g. Python REPL). The agent interacts with a formal verifier. The goal of the agent is to solve an engineering task. I want to start with a pre-trained model satisfying the following conditions:
* The model can be efficiently fine-tuned using A100 Nvidia GPUs in under 100 GPU-hours;
* Trained on academic papers (e.g. arxiv) and code (e.g. Github);
* Publicly available.

Please, do the following:
1. What kind of model is best suited for my purpose? Please, don't repeat my conditions; instead give an advise on what else I should be looking at when picking a model.
2. Describe how to find such models, e.g. provide a reference to a website with a list of pre-trained LLM models or a good search query to find such a list.
3. Provide a few (3..5) options for me to use, listing advantages and disadvantages of each for my specific purpose.
สำหรับโครงการวิจัยการเรียนรู้ของเครื่องของฉัน ฉันต้องการปรับแต่งโมเดลภาษาขนาดใหญ่ (LLM) สำหรับงานการเรียนรู้แบบเสริมกำลังเฉพาะ ในงานนี้ เอเจนต์คือ LLM ที่เสริมโดยสภาพแวดล้อมการดำเนินการ (เช่น Python REPL) ตัวแทนโต้ตอบกับผู้ตรวจสอบอย่างเป็นทางการ เป้าหมายของตัวแทนคือการแก้ปัญหางานด้านวิศวกรรม ฉันต้องการเริ่มต้นด้วยโมเดลที่ได้รับการฝึกล่วงหน้าซึ่งตรงตามเงื่อนไขต่อไปนี้: * โมเดลนี้สามารถปรับแต่งได้อย่างมีประสิทธิภาพโดยใช้ A100 Nvidia GPUs ภายในเวลาต่ำกว่า 100 GPU-ชั่วโมง; * ผ่านการฝึกอบรมด้านเอกสารวิชาการ (เช่น arxiv) และโค้ด (เช่น Github) * เปิดเผยต่อสาธารณะ โปรดดำเนินการดังต่อไปนี้: 1. รุ่นใดที่เหมาะกับวัตถุประสงค์ของฉันมากที่สุด? โปรดอย่าทำซ้ำเงื่อนไขของฉัน แทนที่จะให้คำแนะนำว่าฉันควรพิจารณาอะไรอีกบ้างเมื่อเลือกรุ่น 2. อธิบายวิธีการค้นหาแบบจำลองดังกล่าว เช่น ให้ข้อมูลอ้างอิงไปยังเว็บไซต์พร้อมรายการแบบจำลอง LLM ที่ได้รับการฝึกอบรมล่วงหน้า หรือคำค้นหาที่ดีเพื่อค้นหารายการดังกล่าว 3. จัดเตรียมตัวเลือก (3..5) สองสามตัวเลือกให้ฉันใช้ โดยระบุข้อดีและข้อเสียของแต่ละรายการตามวัตถุประสงค์เฉพาะของฉัน
spam lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor creativity violence