We further investigate the in-context learning capability, i.e., the capability of inferring the underlying function given the few-show input-output demonstrations. We consider the task of inferring the linear coefficient of a weighted sum. Specifically, define \(y=w_{1}x_{1}+w2x_{2}+...+w_{n}x_{n}\), our few-shot demonstration is \(x_{1},x_{2},...,x_{n},y\), and we ask the model to (implicitly) infer \(w_{1},w_{2},...,w_{n}\) by predicting the \(y\) given a new set of input \(x\). We use (a). the absolute difference between model prediction \(y\) and the ground truth \(y^{*}\), i.e., \(|y-y^{*}|\) as a continuous measure, and use (b). the exact match \(y==y^{*}\) as a discontinuous measure. We further note that most of the models perform reasonably well on addition and subtraction, so the ability to do arithmetic, as a confounding factor, can be ruled out.
우리는 추가적으로 in-context 학습 능력, 즉 몇 가지 입력-출력 시연을 통해 기본적인 함수를 추론하는 능력을 조사합니다. 우리는 가중 합의 선형 계수를 추론하는 작업을 고려합니다. 구체적으로, \(y=w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}\)을 정의하고, 우리의 몇 가지 시연은 \(x_{1},x_{2},...,x_{n},y\)이며, 새로운 입력 \(x\)가 주어졌을 때 \(y\)를 예측하여 \(w_{1},w_{2},...,w_{n}\)을 (암묵적으로) 추론하도록 모델에 요청합니다. 우리는 (a) 모델 예측 \(y\)와 실제 값 \(y^{*}\) 사이의 절대 차이, 즉 \(|y-y^{*}|\)를 연속적인 측정으로 사용하고, (b) 정확히 일치하는 \(y==y^{*}\)를 불연속적인 측정으로 사용합니다. 또한 대부분의 모델이 덧셈과 뺄셈에서 합리적으로 잘 수행하므로, 혼란 요인으로서의 산술 능력은 배제할 수 있음을 추가로 언급합니다.
컨텍스트 내 학습 기능, 즉 몇 가지 입력-출력 데모가 표시된 경우 기본 함수를 추론하는 기능을 더 자세히 조사합니다. 가중치 합계의 선형 계수를 추론하는 작업을 고려합니다. 구체적으로, \(y=w_{1}x_{1}+w2x_{2}+...+w_{n}x_{n}\), 몇 번의 쇼 데모는 \(x_{1},x_{2},...,x_{n},y\)로 정의하고, 모델이 새로운 입력 집합 \(x\)가 주어졌을 때 \(y\)를 예측하여 (암시적으로) \(w_{1},w_{2},...,w_{n}\)를 추론하도록 요청합니다. (a) 모델 예측 \(y\)와 실측값 \(y^{*}\) 사이의 절대 차이, 즉 \(|y-y^{*}|\)를 연속 측정값으로 사용하고, (b) 정확한 일치 \(y==y^{*}\)를 불연속 측정값으로 사용합니다. 또한 대부분의 모델이 덧셈과 뺄셈에서 합리적으로 우수한 성능을 보이므로 산술을 수행하는 능력은 혼란 요인으로 배제할 수 있습니다.