Алгоритм Forward-Forward, предложенный Джеффри Хинтоном, - это процедура обучения для нейронных сетей, которая заменяет прямой и обратный проходы обратного распространения на два прямых прохода. В первом проходе вперед используются положительные (реальные) данные, а во втором - отрицательные. Каждый слой имеет свою собственную объективную функцию, которая заключается в том, чтобы иметь высокую добротность для положительных данных и низкую добротность для отрицательных данных. В качестве добротности может использоваться сумма квадратов активности в слое, но есть и другие возможности. Этот алгоритм несколько медленнее, чем обратное распространение, и не так хорошо обобщается на нескольких игрушечных задачах, исследованных в статье. Тем не менее, алгоритм "вперед-назад" может превосходить алгоритм обратного распространения как модель обучения в коре головного мозга и как способ использования аналогового оборудования с очень низким энергопотреблением без использования обучения с подкреплением.
อัลกอริธึม Forward-Forward เสนอโดย Geoffrey Hinton เป็นขั้นตอนการฝึกอบรมสำหรับโครงข่ายประสาทเทียมที่แทนที่การส่งผ่านย้อนกลับของการแพร่กระจายกลับด้วยการส่งต่อสองครั้ง การส่งต่อครั้งแรกใช้ข้อมูลเชิงบวก (จริง) และการส่งต่อครั้งที่สองใช้ข้อมูลเชิงลบ แต่ละเลเยอร์มีหน้าที่วัตถุประสงค์ของตัวเอง ซึ่งก็คือต้องมีปัจจัยคุณภาพสูงสำหรับข้อมูลเชิงบวก และปัจจัยคุณภาพต่ำสำหรับข้อมูลเชิงลบ ผลรวมของกำลังสองของกิจกรรมในเลเยอร์สามารถใช้เป็นปัจจัยด้านคุณภาพได้ แต่ก็มีความเป็นไปได้อื่นๆ อัลกอริธึมนี้ค่อนข้างช้ากว่าการแพร่กระจายกลับ และไม่ได้กล่าวถึงปัญหาของเล่นหลายอย่างที่ศึกษาในรายงานนี้ อย่างไรก็ตาม อัลกอริธึมการเดินหน้า-ถอยหลังอาจเหนือกว่าอัลกอริธึมการเผยแพร่กลับในฐานะแบบจำลองของการเรียนรู้จากเยื่อหุ้มสมอง และเป็นวิธีการใช้ฮาร์ดแวร์แอนะล็อกที่ใช้พลังงานต่ำมากโดยไม่ต้องใช้การเรียนรู้แบบเสริมแรง
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence