I don't want to scare you, but already we are witnessing the incorporation of mental formations in LLMs in the form of layers. And in-context learning is one example of that, where the model’s parameters aren’t updated, so it seems like the model learns a new task without learning anything at all. And the magic happens within the layers that can be viewed as a model within a model. I would say if you want AGI. Give the ability for the model to create more of these layers. Many things can help for the help to generate more layers, like better and bigger datasets, regularization and in the future quantum computing.
ฉันไม่ต้องการที่จะทำให้คุณกลัว แต่เราเห็นแล้วว่าการรวมตัวกันของรูปแบบทางจิตใน LLM ในรูปแบบของชั้น และการเรียนรู้ในบริบทก็เป็นตัวอย่างหนึ่งที่พารามิเตอร์ของโมเดลไม่ได้รับการอัปเดต ดังนั้นดูเหมือนว่าโมเดลจะเรียนรู้งานใหม่โดยไม่ต้องเรียนรู้อะไรเลย และความมหัศจรรย์ก็เกิดขึ้นภายในเลเยอร์ที่สามารถดูได้เป็นแบบจำลองภายในแบบจำลอง ฉันจะบอกว่าถ้าคุณต้องการ AGI ให้ความสามารถแก่โมเดลในการสร้างเลเยอร์เหล่านี้เพิ่มเติม มีหลายสิ่งที่สามารถช่วยในการสร้างเลเยอร์ได้มากขึ้น เช่น ชุดข้อมูลที่ดีขึ้นและใหญ่ขึ้น การทำให้เป็นมาตรฐาน และการประมวลผลควอนตัมในอนาคต
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence