摘要:针对目标任务的细调连续提示最近成为完整模型细调的紧替代品.受到这些有希望的结果的激励,我们调查了对持续提示的离散 (文本) 解释的可行性,这种解释忠于它们解决的问题.在实践中,我们观察到连续提示解决的任务和它们最近的邻居离散投影之间的"偏向"行为:我们可以找到连续提示,在被投射到任意文本 (例如定义不同的或甚至矛盾的任务) 中解决任务,同时在非常小的 (2%) 边界内,对于相同大小的最佳连续任务.我们提供了这项令人惊的结果和行为,以及对各种参数的量化效应进行了广泛的实证分析.我们提供了更高的概括,提供了更高的准确性,以便在未来找到更大的模型中找到更重要的指导,以便在任何较小的模型中找到更重要的内容.
列出摘要提出的主要论点
摘要提出了几个主要论点: 1.对目标任务进行细调连续提示是对完整模型细调的紧替代方案. 2.作者正在调查是否可以提取一个忠于他们所解决的问题的连续提示的分离性 (文本) 解释. 3.他们观察了连续提示解决的任务与它们最近的分离性投影之间的"偏向"行为. 4.他们提供了直觉和广泛的实证分析来解释这种行为并量化各种参数的影响. 5.他们发现对于较大的模型尺寸,存在较高的偏向性. 6.这些发现对解释连续提示的困难,它们在模型和任务中普遍化,以及推动未来语言模型的进步具有重大影响.