Our investigations reveal that the decision on which layers to replicate could be informed by evaluating the cosine similarity scores between the inputs and outputs of each layer. Such an approach allows for targeted model scaling without necessitating additional pretraining, leading only to minimal performance impacts. This minimal impact on performance is attributed to the high cosine similarity, approaching one, between the inputs and outputs of the duplicated layers, as evidenced in Figure 8.
우리의 조사에 따르면 어떤 계층을 복제할지 결정하는 것은 각 계층의 입력과 출력 사이의 cosine similarity 점수를 평가함으로써 알 수 있습니다. 이러한 접근 방식을 사용하면 추가 pretraining 없이도 목표 모델 크기를 조정할 수 있으므로 성능에 미치는 영향이 최소화됩니다. 이러한 성능에 미치는 영향은 그림 8에서 알 수 있듯이 복제된 레이어의 입력과 출력 간에 cosine similarity가 1에 가까울 정도로 높기 때문입니다.
우리의 조사에 따르면 어떤 계층을 복제할지 결정하는 것은 각 계층의 입력과 출력 사이의 코사인 유사도 점수를 평가함으로써 알 수 있습니다. 이러한 접근 방식을 사용하면 추가 사전 학습 없이도 목표 모델 크기를 조정할 수 있으므로 성능에 미치는 영향이 최소화됩니다. 이러한 성능에 미치는 영향은 그림 8에서 알 수 있듯이 복제된 레이어의 입력과 출력 간에 코사인 유사도가 1에 가까울 정도로 높기 때문입니다.