Figure 3: Evaluating language model’s in-context learning capability by inferring the linear coefficients of a weighted sum. Considering the discussions of whether emergent ability is an artifact of measurement [65], we use difference to the target (target number - model prediction) as a continuous measure, and exact match (target number == model prediction) as a discontinuous measure. A: when there is two linear coefficients, Yi-34B performs the best when measuring by the difference to the target number. B: increasing the number of linear coefficients to 5, only models that are large enough (LLaMA2 70B and Mixtral 8x7B) can achieve meaningful exact match, showing that in-context learning complex functions is an emergent ability.
그림 3: 가중치 합의 선형 계수를 추론하여 언어 모델의 In-Context Learning 능력을 평가합니다. emergent ability가 측정의 산물인지에 대한 논의를 고려하여, 우리는 목표(목표 수 - 모델 예측)와의 차이를 연속적인 측정으로, 정확한 일치(목표 수 == 모델 예측)를 불연속적인 측정으로 사용합니다. A: 선형 계수가 두 개인 경우, 목표 수와의 차이로 측정할 때 Yi-34B가 가장 우수한 성능을 보입니다. B: 선형 계수의 수를 5로 늘리면 충분히 큰 모델(LLaMA2 70B 및 Mixtral 8x7B)만이 의미 있는 정확한 일치를 달성할 수 있으며, 이는 In-Context Learning 복잡한 함수 학습이 emergent ability임을 보여줍니다.
그림 3: 가중치 합의 선형 계수를 추론하여 언어 모델의 상황 맞춤 학습 능력을 평가합니다. [65]의 측정의 산물인지에 대한 논의를 고려하여, 우리는 목표(목표 수 - 모델 예측)와의 차이를 연속적인 측정으로, 정확한 일치(목표 수 == 모델 예측)를 불연속적인 측정으로 사용합니다. A: 선형 계수가 두 개인 경우, 목표 수와의 차이로 측정할 때 Yi-34B가 가장 우수한 성능을 보입니다. B: 선형 계수의 수를 5로 늘리면 충분히 큰 모델(LLaMA2 70B 및 Mixtral 8x7B)만이 의미 있는 정확한 일치를 달성할 수 있으며, 이는 상황에 맞는 복잡한 함수 학습이 출현하는 능력임을 보여줍니다.