摘要:针对目标任务的细调连续提示最近成为完整模型细调的紧替代品.受到这些有希望的结果的激励,我们调查了对持续提示的离散 (文本) 解释的可行性,这种解释忠于它们解决的问题.在实践中,我们观察到连续提示解决的任务和它们最近的邻居离散投影之间的"偏向"行为:我们可以找到连续提示,在被投射到任意文本 (例如定义不同的或甚至矛盾的任务) 中解决任务,同时在非常小的 (2%) 边界内,对于相同大小的最佳连续任务.我们提供了这项令人惊的结果和行为,以及对各种参数的量化效应进行了广泛的实证分析.我们提供了更高的概括,提供了更高的准确性,以便在未来找到更大的模型中找到更重要的指导,以便在任何较小的模型中找到更重要的内容.
写一个简要的论文给出输入.
该论文研究了连续提示及其分离式投影在目标任务的精细调整语言模型中的关系.作者观察到"偏向"行为,连续提示可以在被投射到任意文本上时解决任务,与最佳提示的差距非常小.这种行为随着更大的模型大小而增加.这对连续提示的解释及其概括产生了重大影响.该论文提供了直觉和实证分析,以指导未来在提示语言模型中的进展.