Here we present the results for our base models and several other well-known base models across standard academic benchmarks. While benchmarking open-source models, we observed a disparity between the results generated by our pipeline and those reported in public sources. Upon conducting a more in-depth investigation of this difference, mostly because different models use different prompts, post-processing strategies, and sampling techniques. These differences may potentially induce significant variations in the outcomes. Our prompt and post-processing strategy remains consistent with the default settings of the original benchmarks[2; 4; 7; 8; 10; 11; 12; 27; 28; 42; 50; 61; 62; 63; 72; 74; 75; 89; 90]. We use greedy decoding without any post-processing for the generated content. For scores that were not reported publicly (or scores reported with different settings), we try to get results with our pipeline. For scores that can be found publicly, we directly report the existing numbers.
여기에서는 표준 학술 벤치마크에서 기본 모델과 몇 가지 잘 알려진 기본 모델에 대한 결과를 제시합니다. 오픈 소스 모델을 벤치마킹하는 과정에서 파이프라인에서 생성된 결과와 공개 소스에 보고된 결과 사이에 차이가 있음을 발견했습니다. 이 차이에 대해 더 자세히 조사한 결과, 대부분 다른 모델이 서로 다른 prompts, post-processing 전략 및 sampling 기술을 사용하기 때문인 것으로 나타났습니다. 이러한 차이는 잠재적으로 결과에 상당한 변화를 유발할 수 있습니다. prompt 및 post-processing 전략은 원래 벤치마크의 기본 설정[2; 4; 7; 8; 10; 11; 12; 27; 28; 42; 50; 61; 62; 63; 72; 74; 75; 89; 90]과 일관성을 유지합니다. 생성된 콘텐츠에 대해 후처리를 거치지 않고 greedy decoding을 사용합니다. 공개적으로 보고되지 않은 점수(또는 다른 설정으로 보고된 점수)의 경우 파이프라인을 통해 결과를 얻으려고 노력합니다. 공개적으로 찾을 수 있는 점수의 경우 기존 숫자를 직접 보고합니다.
여기에서는 표준 학술 벤치마크에서 기본 모델과 몇 가지 잘 알려진 기본 모델에 대한 결과를 제시합니다. 오픈 소스 모델을 벤치마킹하는 과정에서 파이프라인에서 생성된 결과와 공개 소스에 보고된 결과 사이에 차이가 있음을 발견했습니다. 이 차이에 대해 더 자세히 조사한 결과, 대부분 다른 모델이 서로 다른 프롬프트, 후처리 전략 및 샘플링 기술을 사용하기 때문인 것으로 나타났습니다. 이러한 차이는 잠재적으로 결과에 상당한 변화를 유발할 수 있습니다. 프롬프트 및 후처리 전략은 원래 벤치마크의 기본 설정[2; 4; 7; 8; 10; 11; 12; 27; 28; 42; 50; 61; 62; 63; 72; 74; 75; 89; 90]과 일관성을 유지합니다. 생성된 콘텐츠에 대해 후처리를 거치지 않고 욕심스러운 디코딩을 사용합니다. 공개적으로 보고되지 않은 점수(또는 다른 설정으로 보고된 점수)의 경우 파이프라인을 통해 결과를 얻으려고 노력합니다. 공개적으로 찾을 수 있는 점수의 경우 기존 숫자를 직접 보고합니다.