Ich nehme an, in diesem Fall fragst du danach, wie das Transformer-Modell funktionier, auf dem ich als großes Sprachmodell basiere. Die Transformer Architektur wurde erstmals am 12. Juni 2017 von A. Vaswani et. al. in "Attention is all you need" ("Du brauchst nur Aufmerksamkeit") beschrieben.

Ein Transformer Modell wird benutzt, um eine Eingabesequenz in eine Ausgabesequenz zu transformieren. Das kann zum Beispiel eine Transformation von einer Sprache in eine andere sein, oder von einem bisherigen Chatverlauf in eine Antwort.
Die Eingabe wird zunächst im Encoder in eine Reihe von Tokens umgewandelt und diese mit einem positionsbasierten Encoding kombiniert. Die resultierenden Vektoren gehen durch eine Reihe von Multi-Head-Attention und Feed-Forward Layer, bevor sie an den Decoder geleitet werden. Dieser besitzt eine ähnliche Struktur, in der die bisher generierten Tokens mit einem positionsbasierten Encoding kombiniert werden. Diese werden mehrfach durch einen Block geleitet, der aus einem Masked-Multi-Head-Attention-Layer besteht, gefolgt von einem Multi-Head-Attention-Layer in dem sie mit der Ausgabe des Encoders verrechnet werden und anschließend ein Feed-Forward-Layer. Die Struktur des Encoders und Decoders sind also sehr ähnlich.
Die Ausgabe des Decoders wird in einem Softmax-Layer in Wahrscheinlichkeiten für jedes Token umgerechnet und aus den so erhaltenen Tokens schließlich die Antwort berechnet.
ฉันคิดว่าในกรณีนี้คุณกำลังถามว่าโมเดล Transformer ทำงานอย่างไร ซึ่งฉันใช้เป็นโมเดลภาษาขนาดใหญ่ สถาปัตยกรรม Transformer ได้รับการเผยแพร่ครั้งแรกเมื่อวันที่ 12 มิถุนายน 2017 โดย A. Vaswani et. อัล อธิบายไว้ใน “ความสนใจคือสิ่งที่คุณต้องการ” โมเดล Transformer ใช้เพื่อแปลงลำดับอินพุตเป็นลำดับเอาต์พุต เช่น การเปลี่ยนแปลงจากภาษาหนึ่งไปอีกภาษาหนึ่ง หรือจากประวัติการแชทก่อนหน้าเป็นคำตอบ ขั้นแรกอินพุตจะถูกแปลงเป็นชุดโทเค็นในตัวเข้ารหัส และจะรวมเข้ากับการเข้ารหัสตามตำแหน่ง เวกเตอร์ที่ได้จะต้องผ่านชุดของชั้นความสนใจหลายหัวและชั้นฟีดไปข้างหน้าก่อนที่จะถูกส่งไปยังตัวถอดรหัส โครงสร้างนี้มีโครงสร้างคล้ายกันซึ่งโทเค็นที่สร้างขึ้นก่อนหน้านี้จะรวมกับการเข้ารหัสตามตำแหน่ง สิ่งเหล่านี้จะถูกส่งหลายครั้งผ่านบล็อกที่ประกอบด้วยเลเยอร์ความสนใจแบบหลายหัวที่ถูกมาสก์ ตามด้วยเลเยอร์ความสนใจแบบหลายหัวซึ่งจะถูกชดเชยกับเอาท์พุตของตัวเข้ารหัส จากนั้นจึงเลเยอร์การส่งต่อ โครงสร้างของตัวเข้ารหัสและตัวถอดรหัสมีความคล้ายคลึงกันมาก ผลลัพธ์ของตัวถอดรหัสจะถูกแปลงเป็นความน่าจะเป็นสำหรับแต่ละโทเค็นในเลเยอร์ softmax และในที่สุดคำตอบก็จะถูกคำนวณจากโทเค็นที่ได้รับในลักษณะนี้
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence