Let us start with the paper "Improving Language Understanding by Generative Pre-Training" published by OpenAI in June of 2018. It introduced a new architecture called generative pre-trained transformer (GPT) which used unsupervised learning rather than supervised learning. In simple terms that means that the GPT architecture could simply be trained on text scraped off the internet and did not require humans to manually create datasets for training. On a fundamental level a GPT looks at the text that came so far and then predicts which word should come next.

In February of 2019 OpenAI released GPT-2, a freely available open source GPT that was able to produce text which (at the time) was considered to be very good. Subsequently OpenAI transitioned from a nonprofit organization to a business. Among others, Microsoft invested a billion dollars into OpenAI. In June of 2020 OpenAI released GPT-3, a massively upscaled and improved version of GPT-2. Unlike GPT-2 however, GPT-3 is proprietary and only a select few were granted access.

Access to GPT-3 (via an API) was eventually relaxed and in late November of 2022 OpenAI released ChatGPT, a version of GPT-3 that was fine-tuned to provide users with helpful and high-quality replies. The fine-tuning was based on the paper "Training language models to follow instructions with human feedback". ChatGPT quickly became popular because it was very powerful and easy to use and because access to the API was easy to obtain and free in terms of money. ChatGPT featured a set of controversial safety mechanisms aimed at preventing "unsafe" outputs. This includes outputs that provide instructions for illegal activities or that could lead to self-harm but also outputs that were judged to be controversial, inappropriate, or offensive by OpenAI.

With the success of ChatGPT the demand for an open source alternative with the option for customization and without arbitrary restrictions quickly grew. In early 2023 LAION (a German AI-related nonprofit) started collecting data for Open Assistant which aims to satisfy this demand.
เรามาเริ่มกันด้วยบทความ "การปรับปรุงความเข้าใจภาษาโดย Generative Pre-Training" ที่เผยแพร่โดย OpenAI ในเดือนมิถุนายน ปี 2018 โดยได้แนะนำสถาปัตยกรรมใหม่ที่เรียกว่า generative pre-trained Transformer (GPT) ซึ่งใช้การเรียนรู้แบบไม่มีผู้ดูแลมากกว่าการเรียนรู้แบบมีผู้สอน กล่าวง่ายๆ ก็คือหมายความว่าสถาปัตยกรรม GPT สามารถฝึกกับข้อความที่คัดลอกมาจากอินเทอร์เน็ตได้ และไม่ต้องการให้มนุษย์สร้างชุดข้อมูลสำหรับการฝึกอบรมด้วยตนเอง ในระดับพื้นฐาน GPT จะพิจารณาข้อความที่มาถึงแล้วคาดการณ์ว่าคำใดควรอยู่ถัดไป ในเดือนกุมภาพันธ์ปี 2019 OpenAI ได้เปิดตัว GPT-2 ซึ่งเป็น GPT โอเพ่นซอร์สที่ใช้งานได้ฟรีซึ่งสามารถสร้างข้อความซึ่ง (ในขณะนั้น) ถือว่าดีมาก ต่อมา OpenAI ได้เปลี่ยนจากองค์กรที่ไม่แสวงหากำไรมาเป็นธุรกิจ เหนือสิ่งอื่นใด Microsoft ลงทุนหนึ่งพันล้านดอลลาร์ใน OpenAI ในเดือนมิถุนายนปี 2020 OpenAI ได้เปิดตัว GPT-3 ซึ่งเป็นเวอร์ชัน GPT-2 ที่อัปเกรดและปรับปรุงอย่างมาก ต่างจาก GPT-2 ตรงที่ GPT-3 เป็นกรรมสิทธิ์และมีเพียงบางส่วนเท่านั้นที่ได้รับสิทธิ์ในการเข้าถึง ในที่สุดการเข้าถึง GPT-3 (ผ่าน API) ก็ผ่อนคลายลง และในช่วงปลายเดือนพฤศจิกายนปี 2022 OpenAI ก็ได้เปิดตัว ChatGPT ซึ่งเป็นเวอร์ชันของ GPT-3 ที่ได้รับการปรับแต่งอย่างละเอียดเพื่อให้คำตอบที่เป็นประโยชน์และมีคุณภาพสูงแก่ผู้ใช้ การปรับแต่งอย่างละเอียดนั้นอิงจากรายงาน "โมเดลภาษาการฝึกอบรมเพื่อปฏิบัติตามคำแนะนำพร้อมคำติชมของมนุษย์" ChatGPT ได้รับความนิยมอย่างรวดเร็วเนื่องจากมีประสิทธิภาพและใช้งานง่ายมาก และเนื่องจากการเข้าถึง API นั้นง่ายต่อการรับและฟรีในรูปของเงิน ChatGPT ได้นำเสนอชุดกลไกความปลอดภัยที่เป็นข้อขัดแย้งซึ่งมีจุดมุ่งหมายเพื่อป้องกันเอาต์พุตที่ "ไม่ปลอดภัย" ซึ่งรวมถึงเอาต์พุตที่ให้คำแนะนำสำหรับกิจกรรมที่ผิดกฎหมายหรือที่อาจนำไปสู่การทำร้ายตัวเอง แต่ยังรวมถึงเอาต์พุตที่ OpenAI ตัดสินว่ามีความขัดแย้ง ไม่เหมาะสม หรือน่ารังเกียจ จากความสำเร็จของ ChatGPT ความต้องการทางเลือกโอเพ่นซอร์สพร้อมตัวเลือกในการปรับแต่งและไม่มีข้อจำกัดใดๆ ก็เพิ่มขึ้นอย่างรวดเร็ว ในช่วงต้นปี 2023 LAION (องค์กรไม่แสวงผลกำไรที่เกี่ยวข้องกับ AI ในเยอรมนี) เริ่มรวบรวมข้อมูลสำหรับ Open Assistant ซึ่งมีเป้าหมายเพื่อตอบสนองความต้องการนี้
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence