前腾讯er，跪求支持p-tuning
#37
by
lpan1010
- opened
本想自己手动改一下forward过程，发现封装的紧紧的。
为啥要改forward过程呢，主要是参考p-tuning过程，会生成prefix-embedding，这个embedding会在attention层和已有的K, V进行concat操作。但是lyra好像各个层没法改，forward过程也没法改。
11111
同求，这个需求非常重要！感谢！
同求