However, some tasks that are purely open-ended text generation cannot be evaluated in the same way as for categorization. Different metrics are required for the specific purpose of the evaluation. Code generation is a very different case in open-ended generative evaluations. The generated code must pass the test suite but on the other hand, it is also important to understand if a model is capable of generating different solutions as a code, what is the probability of selecting the correct one among them. Pass@k is a very good metric in this case. It works in this manner that given a problem, different solutions as code are generated. They are tested for correctness using different functionality tests. Afterward, from generated in solutions, and the respective c number of them being correct equation 4 provides the final value.
그러나 순전히 개방형 텍스트 생성인 일부 작업은 분류와 같은 방식으로 평가할 수 없습니다. 평가의 특정 목적에는 다른 metric이 필요합니다. 코드 생성은 개방형 생성 평가에서 매우 다른 경우입니다. 생성된 코드는 테스트 스위트를 통과해야 하지만, 다른 한편으로 모델이 코드로서 다른 솔루션을 생성할 수 있는지, 생성된 코드 중에서 올바른 코드를 선택할 확률이 얼마나 되는지 이해하는 것도 중요합니다. 이 경우 Pass@k는 매우 좋은 metric입니다. 이 metric은 문제가 주어지면 코드로서 다른 솔루션이 생성되는 방식으로 작동합니다. 이러한 솔루션은 다양한 기능 테스트를 통해 정확성이 테스트됩니다. 그 후, 생성된 솔루션에서 각각의 c 수의 정확한 방정식 4가 최종 값을 제공합니다.
그러나 순전히 개방형 텍스트 생성인 일부 작업은 분류와 같은 방식으로 평가할 수 없습니다. 평가의 특정 목적에는 다른 메트릭이 필요합니다. 코드 생성은 개방형 생성 평가에서 매우 다른 경우입니다. 생성된 코드는 테스트 스위트를 통과해야 하지만, 다른 한편으로 모델이 코드로서 다른 솔루션을 생성할 수 있는지, 생성된 코드 중에서 올바른 코드를 선택할 확률이 얼마나 되는지 이해하는 것도 중요합니다. 이 경우 Pass@k는 매우 좋은 메트릭입니다. 이 메트릭은 문제가 주어지면 코드로서 다른 솔루션이 생성되는 방식으로 작동합니다. 이러한 솔루션은 다양한 기능 테스트를 통해 정확성이 테스트됩니다. 그 후, 생성된 솔루션에서 각각의 c 수의 정확한 방정식 4가 최종 값을 제공합니다.