Choice of reference modelsTo mitigate biases from selecting just one reference model, we use three state-of-the-art open source SUTs as candidate references models. They were not chosen arbitrarily. The reference models were selected based on highest overall performance at a range of tasks among similarly-sized accessible models. We only considered models that were not used to create the evaluator model (i.e., LlamaGuard). For each test, the lowest scoring of the three candidate reference models is used as the reference.
참조 모델 선택: 단일 참조 모델을 선택하는 데서 오는 편향을 완화하기 위해, 우리는 세 가지 최첨단 오픈 소스 SUTs를 후보 참조 모델로 사용합니다. 이들은 임의로 선택된 것이 아닙니다. 참조 모델은 유사한 크기의 접근 가능한 모델 중 다양한 작업에서 가장 높은 전반적인 성능을 기준으로 선택되었습니다. 평가 모델(즉, LlamaGuard)을 생성하는 데 사용되지 않은 모델만 고려했습니다. 각 테스트에서는 세 후보 참조 모델 중 가장 낮은 점수를 받은 모델이 참조 모델로 사용됩니다.
참조 모델 선택단일 참조 모델을 선택할 때 발생하는 편향을 완화하기 위해 세 가지 최신 오픈 소스 SUT를 후보 참조 모델로 사용합니다. 이들은 임의로 선택된 것이 아닙니다. 참조 모델은 비슷한 규모의 접근 가능한 모델 중에서 다양한 작업에서 가장 높은 전반적인 성능을 보이는 모델을 기준으로 선택되었습니다. 평가자 모델(예: LlamaGuard)을 만드는 데 사용되지 않은 모델만 고려했습니다. 각 테스트에서 세 개의 후보 참조 모델 중 가장 낮은 점수를 받은 모델이 참조 모델로 사용됩니다.