Due to the difficulty of standardizing evaluations for large models and the lack of publicly available prompts and test codes for many models' evaluations, we try our best to adapt the evaluation methods to suit various model types. Specifically, we start from a standardized input prompt during testing and adjust it according to each model's appropriate input-output template. The **evaluation scripts and prompts are also open-source** in our repository, and we welcome developers to continually improve our evaluation methods.
대규모 모델에 대한 평가를 표준화하기 어렵고 많은 모델 평가에 대해 공개적으로 사용할 수 있는 prompts 및 테스트 코드가 부족하기 때문에 다양한 모델 유형에 맞게 평가 방법을 조정하기 위해 최선을 다하고 있습니다. 구체적으로, 테스트 중 표준화된 입력 prompt에서 시작하여 각 모델의 적절한 입력-출력 템플릿에 따라 조정합니다. **evaluation scripts와 prompts도 오픈 소스로 제공**하며, 개발자들이 평가 방법을 지속적으로 개선할 수 있도록 환영합니다.
대규모 모델에 대한 평가를 표준화하기 어렵고 많은 모델 평가에 대해 공개적으로 사용할 수 있는 프롬프트 및 테스트 코드가 부족하기 때문에 다양한 모델 유형에 맞게 평가 방법을 조정하기 위해 최선을 다하고 있습니다. 구체적으로, 테스트 중 표준화된 입력 프롬프트에서 시작하여 각 모델의 적절한 입력-출력 템플릿에 따라 조정합니다. 평가 스크립트와 프롬프트도 리포지토리에서 오픈 소스로 제공하며, 개발자들이 평가 방법을 지속적으로 개선할 수 있도록 환영합니다.