Benchmarking is widely used by the AI community to identify, measure and track improvements. Initiatives such as MLPerf [2, 161], BIG-Bench [20] and HELM [19] have served as a powerful forcing function to drive progress in the field. We believe that well-designed and responsibly released benchmarks can play an important role in driving innovation and research.
벤치마킹은 AI 커뮤니티에서 개선 사항을 식별하고 측정하며 추적하기 위해 널리 사용됩니다. MLPerf [2, 161], BIG-Bench [20] 및 HELM [19]와 같은 이니셔티브는 이 분야의 발전을 촉진하는 강력한 추진 기능으로 작용해 왔습니다. 우리는 잘 설계되고 책임감 있게 공개된 벤치마크가 혁신과 연구를 촉진하는 데 중요한 역할을 할 수 있다고 믿습니다.
벤치마킹은 AI 커뮤니티에서 널리 사용되는 방법으로, 개선 사항을 파악, 측정 및 추적합니다. MLPerf [2, 161], BIG-Bench [20] 및 HELM [19]과 같은 이니셔티브는 이 분야의 발전을 주도하는 강력한 원동력으로 작용했습니다. 잘 설계되고 책임감 있게 공개된 벤치마크는 혁신과 연구를 주도하는 데 중요한 역할을 할 수 있다고 믿습니다.