Hello,
I tried to use reinforcement learning (trlx library) to train a FLAN-T5. I have seen that as examples there are sentiment analysis or summarization tasks, but in my case it is a generic generation task. Trying to use my dataset, I tried the config: ppo_config_cnn_daily.yml.

The result I got is this, and it seems to be a summarization task:

Prompt: "[some text] ... from 1978, excluding finishing years incoming 62"
Output: "years incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming"
And I'm using this code with my personal prompts:

trlx.train(
    reward_fn=reward_fn,
    prompts=train_prompts,
    eval_prompts=valid_prompts,
    config=config
)
I have two problems, maybe caused by summarization task:

First the repetition at the end
Second, the expected output is very different
Should I change the code or are there generic examples?

My configuration is:
gen_kwargs:
    max_new_tokens: 100
  gen_experience_kwargs:
    max_new_tokens: 100
    do_sample: True
    temperature: 1.0
    top_k: 50
    top_p: 0.95

That works well for summarization. Any suggestion about how to change these parameters for generic text 2 text tasks and not summarization?
สวัสดี ฉันพยายามใช้การเรียนรู้แบบเสริมกำลัง (ไลบรารี trlx) เพื่อฝึก FLAN-T5 ฉันเห็นว่าเป็นตัวอย่างที่มีงานการวิเคราะห์ความรู้สึกหรือการสรุป แต่ในกรณีของฉัน มันเป็นงานการสร้างทั่วไป ขณะพยายามใช้ชุดข้อมูลของฉัน ฉันลองใช้ config: ppo_config_cnn_daily.yml ผลลัพธ์ที่ฉันได้รับคือสิ่งนี้ และดูเหมือนว่าจะเป็นงานสรุป: พร้อมท์: "[ข้อความบางส่วน] ... จากปี 1978 ไม่รวมปีที่จบเข้ามา 62" ผลลัพธ์: "ปีที่เข้ามา 62 เข้ามา 62 เข้ามา 62 เข้ามา 62 เข้ามา 62 เข้ามา 62 ขาเข้า 62 ขาเข้า 62 ขาเข้า 62 ขาเข้า" และฉันใช้รหัสนี้พร้อมกับข้อความแจ้งส่วนตัวของฉัน: trlx.train( allowance_fn=reward_fn, prompts=train_prompts, eval_prompts=valid_prompts, config=config ) ฉันมีปัญหาสองประการ อาจเกิดจากการสรุป งาน: ขั้นแรกทำซ้ำในตอนท้าย ประการที่สอง ผลลัพธ์ที่คาดหวังจะแตกต่างกันมาก ฉันควรเปลี่ยนโค้ดหรือมีตัวอย่างทั่วไปหรือไม่ การกำหนดค่าของฉันคือ: gen_kwargs: max_new_tokens: 100 gen_experience_kwargs: max_new_tokens: 100 do_sample: อุณหภูมิจริง: 1.0 top_k: 50 top_p: 0.95 ซึ่งใช้ได้ดีสำหรับการสรุป ข้อเสนอแนะใด ๆ เกี่ยวกับวิธีเปลี่ยนพารามิเตอร์เหล่านี้สำหรับงานข้อความทั่วไป 2 ไม่ใช่การสรุป
spam lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor creativity violence