A current method applicable to AI learning to act morally may be via the use of what has been termed “Constitutional AI,” which aims to provide a “principle-based” approach to aligning AI systems with human intentions.  This is achieved by letting an AI supervise other AIs using reinforcement learning from AI feedback (RLAIF).  The only human oversight is provided through a list of rules or principles, or a ‘constitution.’ The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase a sample from an initial model is made, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, samples from the finetuned model are used, then using a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. Then training with RL using the preference model as the reward signal (RLAIF). As a result, a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them is achieved. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels and thus useful for your objective of an AI learning how to act morally. 

Ethics and moral actions can also be modelled using AI, for example see:
 Wiedeman, C., Wang, G. & Kruger, U. Modeling of moral decisions with deep learning. Vis. Comput. Ind. Biomed. Art 3, 27 (2020). https://doi.org/10.1186/s42492-020-00063-9

Finally, AI might also be able to assist humans in their moral decision making as per:
Savulescu, J., Maslen, H. (2015). Moral Enhancement and Artificial Intelligence: Moral AI?. In: Romportl, J., Zackova, E., Kelemen, J. (eds) Beyond Artificial Intelligence. Topics in Intelligent Engineering and Informatics, vol 9. Springer, Cham. https://doi.org/10.1007/978-3-319-09668-1_6
วิธีการปัจจุบันที่ใช้กับการเรียนรู้ของ AI เพื่อประพฤติตนอย่างมีศีลธรรมอาจใช้สิ่งที่เรียกว่า "AI รัฐธรรมนูญ" ซึ่งมีจุดมุ่งหมายเพื่อให้แนวทาง "ตามหลักการ" ในการปรับระบบ AI ให้สอดคล้องกับความตั้งใจของมนุษย์ สิ่งนี้สามารถทำได้โดยการปล่อยให้ AI ดูแล AI อื่นๆ โดยใช้การเรียนรู้แบบเสริมแรงจากข้อเสนอแนะของ AI (RLAIF) การกำกับดูแลของมนุษย์เพียงอย่างเดียวนั้นจัดทำขึ้นผ่านรายการกฎหรือหลักการหรือ 'รัฐธรรมนูญ' กระบวนการนี้เกี่ยวข้องกับทั้งการเรียนรู้แบบมีผู้สอนและขั้นตอนการเรียนรู้แบบเสริมกำลัง ในขั้นตอนที่ได้รับการดูแล จะมีการสร้างตัวอย่างจากแบบจำลองเริ่มต้น จากนั้นจึงวิจารณ์ตนเองและแก้ไข จากนั้นจึงปรับแต่งแบบจำลองดั้งเดิมตามคำตอบที่ได้รับการปรับปรุง ในระยะ RL จะมีการใช้ตัวอย่างจากแบบจำลองที่ได้รับการปรับแต่ง จากนั้นใช้แบบจำลองเพื่อประเมินว่าตัวอย่างใดในสองตัวอย่างที่ดีกว่า จากนั้นฝึกแบบจำลองการกำหนดลักษณะจากชุดข้อมูลของการตั้งค่า AI นี้ จากนั้นจึงฝึกกับ RL โดยใช้โมเดลการตั้งค่าเป็นสัญญาณรางวัล (RLAIF) เป็นผลให้ผู้ช่วย AI ที่ไม่เป็นอันตรายแต่ไม่หลบเลี่ยงซึ่งโต้ตอบกับคำถามที่เป็นอันตรายด้วยการอธิบายการคัดค้านต่อพวกเขาจึงบรรลุผลสำเร็จ ทั้งวิธี SL และ RL สามารถใช้ประโยชน์จากการใช้เหตุผลแบบลูกโซ่ของความคิด เพื่อปรับปรุงประสิทธิภาพที่ตัดสินโดยมนุษย์และความโปร่งใสของการตัดสินใจของ AI วิธีการเหล่านี้ทำให้สามารถควบคุมพฤติกรรมของ AI ได้แม่นยำยิ่งขึ้น และมีป้ายกำกับของมนุษย์น้อยลงมาก และมีประโยชน์สำหรับวัตถุประสงค์ในการให้ AI เรียนรู้วิธีประพฤติตนอย่างมีศีลธรรม จริยธรรมและการกระทำทางศีลธรรมสามารถสร้างแบบจำลองได้โดยใช้ AI เช่น Wiedeman, C., Wang, G. & Kruger, U. การสร้างแบบจำลองการตัดสินใจทางศีลธรรมด้วยการเรียนรู้เชิงลึก วิส คอมพิวเตอร์ Ind.ชีวการแพทย์ ข้อ 3, 27 (2020) https://doi.org/10.1186/s42492-020-00063-9 ในที่สุด AI ก็อาจสามารถช่วยมนุษย์ในการตัดสินใจทางศีลธรรมได้เช่นกัน ตาม: Savulescu, J., Maslen, H. (2015) การเสริมสร้างคุณธรรมและปัญญาประดิษฐ์: Moral AI?. ใน: Romportl, J., Zackova, E., Kelemen, J. (eds) Beyond Artificial Intelligence. หัวข้อทางวิศวกรรมอัจฉริยะและสารสนเทศ เล่ม 9. สปริงเกอร์, จาม. https://doi.org/10.1007/978-3-319-09668-1_6
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence