- This work introduces Transformer, a novel sequence transduction model based entirely on attention mechanism.

- It replaces the recurrent layers most commonly used in encoder-decoder architectures with multi-headed self-attention.

- Transformer can be trained significantly faster than architectures based on recurrent or convolutional layers for translation tasks.

- On both WMT 2014 English-to-German and WMT 2014 English-to-French translation tasks, the model achieves a new state of the art.  In the former task the model outperforms all previously reported ensembles.

- This paper is known to be the origin of many others that have improved the state of the art in a wide variety of deep learning tasks
 งานนี้แนะนำ Transformer ซึ่งเป็นโมเดลการถ่ายทอดลำดับแบบใหม่ที่อิงตามกลไกความสนใจทั้งหมด - จะแทนที่เลเยอร์ที่เกิดซ้ำที่ใช้กันมากที่สุดในสถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสที่มีการเอาใจใส่ตนเองแบบหลายหัว - สามารถฝึก Transformer ได้เร็วกว่าสถาปัตยกรรมอย่างเห็นได้ชัด โดยอิงตามเลเยอร์ที่เกิดซ้ำหรือแบบ Convolutional สำหรับงานแปล - ในงานการแปลภาษาอังกฤษเป็นภาษาเยอรมัน WMT 2014 และการแปลภาษาอังกฤษเป็นภาษาฝรั่งเศส WMT 2014 โมเดลดังกล่าวบรรลุถึงความล้ำหน้าครั้งใหม่ ในงานเดิม โมเดลมีประสิทธิภาพเหนือกว่าวงดนตรีที่รายงานไว้ก่อนหน้านี้ทั้งหมด - บทความนี้เป็นที่รู้กันว่าเป็นที่มาของเอกสารอื่นๆ อีกมากมายที่ได้ปรับปรุงความทันสมัยในงานการเรียนรู้เชิงลึกที่หลากหลาย
spam lang_mismatch quality