Extensive experiments demonstrate that Yi-34B can match GPT-3.5 in both performance and efficiency. On most standard benchmarks like MMLU [27] (for the base model) and LMSys ELO Rating [93] (for the chat model), Yi-34B generally achieves scores on par with GPT-3.5. After model parameter and KV cache quantization, the inference cost is also controlled such that a wide range of the community can deploy the model on cost effective devices. We further report a detailed performance comparison between Yi and major LLMs on commonsense reasoning, college exams, math, coding, reading comprehension, and human preference win-rate on multiple evaluation benchmarks.
광범위한 실험을 통해 Yi-34B는 성능과 효율성 측면에서 GPT-3.5에 필적할 수 있음을 입증했습니다. MMLU [27](기본 모델) 및 LMSys ELO Rating [93](채팅 모델)과 같은 대부분의 표준 벤치마크에서 Yi-34B는 일반적으로 GPT-3.5와 동등한 점수를 달성합니다. 모델 파라미터 및 KV 캐시 Quantization 후 추론 비용도 제어하여 다양한 커뮤니티가 비용 효율적인 장치에 모델을 배포할 수 있도록 합니다. 또한 상식 추론, 대학 시험, 수학, 코딩, 독해, 여러 평가 벤치마크에서 인간 선호도 승률에 대한 Yi와 주요 LLM 간의 상세한 성능 비교를 보고합니다.
광범위한 실험을 통해 Yi-34B는 성능과 효율성 측면에서 GPT-3.5에 필적할 수 있음을 입증했습니다. MMLU [27](기본 모델) 및 LMSys ELO Rating [93](채팅 모델)과 같은 대부분의 표준 벤치마크에서 Yi-34B는 일반적으로 GPT-3.5와 동등한 점수를 달성합니다. 모델 파라미터 및 KV 캐시 양자화 후 추론 비용도 제어하여 다양한 커뮤니티가 비용 효율적인 장치에 모델을 배포할 수 있도록 합니다. 또한 상식 추론, 대학 시험, 수학, 코딩, 독해, 여러 평가 벤치마크에서 인간 선호도 승률에 대한 Yi와 주요 LLM 간의 상세한 성능 비교를 보고합니다.