\(\bullet\)_Prompt transferring with scarce data._ Supervised learning approaches demand in sufficient training data to learn optimal continuous prompts, which may not work well in data-scarce domains and tasks. To address this problem, SPoT [476] proposes a prompt-based transfer learning approach, which first learns a single continuous prompt for several representative source tasks and then uses this prompt to initialize the prompt for a target task. However, this approach leverages the same prompt for solving all instances of the target task. For a single task, even a well-learned prompt may not be suitable for all the data instances from a large population. To address this issue, an improved method [477] designs an adaptive attention mechanism during the prompt transfer process to derive the target prompts, considering both task- and instance-level information. The prompt transfer paradigm can leverage the knowledge of data-sufficient source tasks encoded in source prompts for solving data-scarce target tasks.
\(\bullet\)_데이터가 부족한 프롬프트 전송._ Supervised learning 접근 방식은 최적의 연속 프롬프트를 학습하기 위해 충분한 학습 데이터를 필요로 하며, 데이터가 부족한 도메인 및 작업에서는 잘 작동하지 않을 수 있습니다. 이 문제를 해결하기 위해 SPoT [476]은 먼저 여러 대표적인 소스 작업에 대해 단일 연속 프롬프트를 학습한 다음 이 프롬프트를 사용하여 대상 작업의 프롬프트를 초기화하는 프롬프트 기반 transfer learning 접근 방식을 제안합니다. 그러나 이 접근 방식은 대상 작업의 모든 인스턴스를 해결하기 위해 동일한 프롬프트를 활용합니다. 단일 작업의 경우 잘 학습된 프롬프트도 대규모 모집단의 모든 데이터 인스턴스에 적합하지 않을 수 있습니다. 이 문제를 해결하기 위해 개선된 방법 [477]은 프롬프트 전송 과정에서 작업 및 인스턴스 수준 정보를 모두 고려하여 대상 프롬프트를 도출하기 위해 adaptive attention 메커니즘을 설계했습니다. 프롬프트 전송 패러다임은 데이터가 부족한 대상 작업을 해결하기 위해 소스 프롬프트에 인코딩된 데이터가 충분한 소스 작업의 지식을 활용할 수 있습니다.
\(\bullet\)_데이터가 부족한 프롬프트 전송._ 지도 학습 접근 방식은 최적의 연속 프롬프트를 학습하기 위해 충분한 학습 데이터를 필요로 하며, 데이터가 부족한 도메인 및 작업에서는 잘 작동하지 않을 수 있습니다. 이 문제를 해결하기 위해 SPoT [476]은 먼저 여러 대표적인 소스 작업에 대해 단일 연속 프롬프트를 학습한 다음 이 프롬프트를 사용하여 대상 작업의 프롬프트를 초기화하는 프롬프트 기반 전이 학습 접근 방식을 제안합니다. 그러나 이 접근 방식은 대상 작업의 모든 인스턴스를 해결하기 위해 동일한 프롬프트를 활용합니다. 단일 작업의 경우 잘 학습된 프롬프트도 대규모 모집단의 모든 데이터 인스턴스에 적합하지 않을 수 있습니다. 이 문제를 해결하기 위해 개선된 방법 [477]은 프롬프트 전송 과정에서 작업 및 인스턴스 수준 정보를 모두 고려하여 대상 프롬프트를 도출하기 위해 적응형 주의 메커니즘을 설계했습니다. 프롬프트 전송 패러다임은 데이터가 부족한 대상 작업을 해결하기 위해 소스 프롬프트에 인코딩된 데이터가 충분한 소스 작업의 지식을 활용할 수 있습니다.