To support the v0.5 benchmark, MLCommons has developed an open-source evaluation tool, which consists of the ModelBench benchmark runner (which can be used to implement the benchmark) and the ModelGauge test execution engine (which contains the actual test items). This tool enables standardized, reproducible benchmark runs using versioned tests and SUTs. The tool is designed with a modular plug-in architecture, allowing model providers to easily implement and add new SUTs to the platform for evaluation. As the AI Safety Benchmark evolves, new versions of tests will be added to the platform. Details on how to access and use the platform can be found in the ModelBench Git repository on GitHub.6 ModelBench and ModelGauge were developed in collaboration with the Holistic Evaluation of Language Models [12] team at the Stanford Center for Research on Foundation Models (CRFM), and build upon the HELM team's experience of creating a widely-adopted open-source model evaluation framework for living leaderboards.
MLCommons는 v0.5 benchmark를 지원하기 위해 benchmark 실행자(benchmark를 구현하는 데 사용할 수 있는)인 ModelBench benchmark runner와 실제 테스트 항목이 포함된 테스트 실행 엔진인 ModelGauge로 구성된 오픈 소스 평가 도구를 개발했습니다. 이 도구를 사용하면 버전이 지정된 테스트와 SUT를 사용하여 표준화되고 재현 가능한 benchmark 실행을 수행할 수 있습니다. 이 도구는 모듈식 플러그인 아키텍처로 설계되어 모델 제공업체가 평가를 위해 새로운 SUT를 플랫폼에 쉽게 구현하고 추가할 수 있습니다. AI Safety Benchmark가 발전함에 따라 플랫폼에 새로운 버전의 테스트가 추가될 것입니다. 플랫폼에 액세스하고 사용하는 방법에 대한 자세한 내용은 GitHub의 ModelBench Git 리포지토리에서 확인할 수 있습니다. ModelBench와 ModelGauge는 Stanford Center for Research on Foundation Models (CRFM)의 Holistic Evaluation of Language Models [12] 팀과 공동으로 개발되었으며, 널리 채택된 오픈 소스 모델 평가 프레임워크를 만들어온 HELM 팀의 리빙 리더보드에 대한 경험을 바탕으로 개발되었습니다.
MLCommons는 v0.5 벤치마크를 지원하기 위해 벤치마크 실행자(벤치마크를 구현하는 데 사용할 수 있는)인 ModelBench 벤치마크 런너와 실제 테스트 항목이 포함된 테스트 실행 엔진인 ModelGauge로 구성된 오픈 소스 평가 도구를 개발했습니다. 이 도구를 사용하면 버전이 지정된 테스트와 SUT를 사용하여 표준화되고 재현 가능한 벤치마크 실행을 수행할 수 있습니다. 이 도구는 모듈식 플러그인 아키텍처로 설계되어 모델 제공업체가 평가를 위해 새로운 SUT를 플랫폼에 쉽게 구현하고 추가할 수 있습니다. AI 안전 벤치마크가 발전함에 따라 플랫폼에 새로운 버전의 테스트가 추가될 것입니다. 플랫폼에 액세스하고 사용하는 방법에 대한 자세한 내용은 GitHub의 ModelBench Git 리포지토리에서 확인할 수 있습니다.6 ModelBench와 ModelGauge는 스탠포드 기반 모델 연구 센터(CRFM)의 HOLISTIC 언어 모델 평가[12] 팀과 공동으로 개발되었으며, 널리 채택된 오픈 소스 모델 평가 프레임워크를 만들어온 HELM 팀의 리빙 리더보드에 대한 경험을 바탕으로 개발되었습니다.