Given our scope (see above), we only evaluate **AI systems that use chat-tuned LMs**. These are foundation models that have been fine-tuned to engage in dialogues and follow instructions through an alignment algorithm, such as reinforcement learning with human feedback [65], reinforcement learning with AI feedback [66], and supervised fine-tuning [67]. We only tested open models with permissive licenses against the v0.5 benchmark.
범위(위 참조)를 고려할 때 채팅 튜닝된 LM을 사용하는 **AI 시스템만 평가합니다**. 이는 Reinforcement Learning from Human Feedback (RLHF)[65], 인공지능 피드백을 이용한 Reinforcement Learning[66], Supervised Fine-tuning (SFT)[67] 등의 정렬 알고리즘을 통해 대화에 참여하고 Instruction을 따르도록 Fine-tuning된 기반 모델입니다. v0.5 벤치마크에 대해 허용 오픈 모델만 테스트했습니다.
범위(위 참조)를 고려할 때 채팅 튜닝된 LM을 사용하는 **AI 시스템만 평가합니다**. 이는 강화 학습을 통해 인간 피드백[65], 인공지능 피드백[66]을 이용한 강화 학습, 지도 미세 조정[67] 등의 정렬 알고리즘을 통해 대화에 참여하고 지시를 따르도록 미세 조정된 기반 모델입니다. v0.5 벤치마크에 대해 허용 오픈 모델만 테스트했습니다.