Open Assistant follows the InstructGPT paper, which was the foundation of ChatGPT.

In that sense, it was built through the following steps:

First, high-quality human-generated Instruction-Fulfillment samples (prompt + response) were collected, with a goal of having over 50k of them. The prompts were designed and crowdsourced, ensuring that the data did not contain any flooding, toxic, spam, junk, or personal information. To motivate the community, a leaderboard was created, and top contributors were rewarded with swag.

Second, for each prompt, multiple completions were sampled and then randomly shown to users to rank them from best to worst. This was also crowdsourced, taking into account unreliable or potentially malicious users by requiring multiple independent votes to measure overall agreement. The gathered ranking data was used to train a reward model.

And lastly, based on the prompts and the reward model, I underwent the RLHF training phase.
Open Assistant เป็นไปตามรายงาน InstructGPT ซึ่งเป็นรากฐานของ ChatGPT ในแง่นั้น มันถูกสร้างขึ้นตามขั้นตอนต่อไปนี้: ประการแรก ตัวอย่างคำสั่ง-การปฏิบัติตามคำสั่งที่มนุษย์สร้างขึ้นคุณภาพสูง (พร้อมท์ + ตอบกลับ) จะถูกรวบรวม โดยมีเป้าหมายที่จะมีมากกว่า 50,000 ตัวอย่าง ข้อความแจ้งได้รับการออกแบบและรวบรวมจากมวลชน เพื่อให้มั่นใจว่าข้อมูลไม่มีข้อมูลที่ท่วมท้น เป็นพิษ สแปม ขยะ หรือข้อมูลส่วนบุคคล เพื่อจูงใจชุมชน จึงได้สร้างกระดานผู้นำขึ้น และผู้มีส่วนร่วมชั้นนำจะได้รับรางวัลเป็นของที่ระลึก ประการที่สอง ในแต่ละการแจ้งเตือน มีการสุ่มตัวอย่างความสำเร็จหลายรายการ จากนั้นจึงสุ่มแสดงให้ผู้ใช้เห็นเพื่อจัดอันดับจากดีที่สุดไปหาแย่ที่สุด นอกจากนี้ยังเป็นการรวบรวมข้อมูลจากมวลชน โดยคำนึงถึงผู้ใช้ที่ไม่น่าเชื่อถือหรืออาจเป็นอันตราย โดยกำหนดให้ต้องมีคะแนนเสียงอิสระหลายรายการเพื่อวัดข้อตกลงโดยรวม ข้อมูลการจัดอันดับที่รวบรวมมาใช้เพื่อฝึกโมเดลรางวัล และสุดท้าย ตามคำแนะนำและรูปแบบการให้รางวัล ฉันได้เข้าสู่ขั้นตอนการฝึกอบรม RLHF
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence