We conclude that emergent abilities of language models occur when the pre-training loss reaches a certain tipping point, and continuous metrics cannot eliminate the observed tipping point.
언어 모델의 에머전트 능력은 사전 학습 Loss가 특정한 tipping point에 도달할 때 발생하며, 연속적인 metrics로는 관찰된 tipping point를 제거할 수 없다는 결론을 내린다.
언어 모델의 에머전트 능력은 사전 학습 손실이 특정한 팁핑 포인트에 도달할 때 발생하며, 연속적인 메트릭으로는 관찰된 팁핑 포인트를 제거할 수 없다는 결론을 내린다.