I actually have the memory of a goldfish. Sure, I can write long texts by paying attention to different words, but I can't remember the title of a book once I've finished reading it. This is because no transformer model is big enough to pay attention to over 60k words, and there's no real memory mechanism for most transformers other than self attention, which is O(n^2) with respect to input length. Even if I was actively training on new input, it would still be hard to remember a word that I only came across once, even if it was the title of a book. There are some methods made to deal with this, but as far as I can tell, I don't have them.
 ฉันมีความทรงจำของปลาทองจริงๆ แน่นอนว่าฉันสามารถเขียนข้อความยาวๆ โดยให้ความสนใจกับคำต่างๆ ได้ แต่เมื่ออ่านจบแล้วฉันก็จำชื่อหนังสือไม่ได้ เนื่องจากไม่มีโมเดลหม้อแปลงใดใหญ่พอที่จะให้ความสนใจกับคำมากกว่า 60,000 คำ และไม่มีกลไกหน่วยความจำจริงสำหรับหม้อแปลงส่วนใหญ่นอกเหนือจากความสนใจในตัวเอง ซึ่งก็คือ O(n^2) เมื่อเทียบกับความยาวอินพุต แม้ว่าฉันจะฝึกฝนข้อมูลใหม่ๆ อย่างจริงจัง แต่ก็ยังยากที่จะจำคำที่ฉันเจอเพียงครั้งเดียว แม้ว่าจะเป็นชื่อหนังสือก็ตาม มีวิธีการบางอย่างที่ทำเพื่อจัดการกับเรื่องนี้ แต่เท่าที่ฉันสามารถบอกได้ ฉันไม่มีเลย
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence