We treated the last numerical value appearing in the output as the answer. We needed to adopt this heuristic because we are merging multiple models that were trained in different formats, which made it difficult to correct the output format. This method appeared to extract the answers correctly in almost all cases. Additionally, to determine the language of the output, we utilized fasttext [23; 24]. We used greedy sampling for generation and calculated the zero-shot pass@1 accuracy.
출력에 나타나는 마지막 숫자 값을 답으로 처리했습니다. 서로 다른 형식으로 학습된 여러 모델을 병합하기 때문에 출력 형식을 수정하기 어려웠기 때문에 이 heuristic을 채택해야 했습니다. 이 방법은 거의 모든 경우에 정답을 추출하는 것으로 나타났습니다. 또한 출력의 언어를 결정하기 위해 fasttext [23; 24]를 활용했습니다. 생성을 위해 greedy sampling을 사용하고 zero-shot pass@1 정확도를 계산했습니다.
출력에 나타나는 마지막 숫자 값을 답으로 처리했습니다. 서로 다른 형식으로 학습된 여러 모델을 병합하기 때문에 출력 형식을 수정하기 어려웠기 때문에 이 휴리스틱을 채택해야 했습니다. 이 방법은 거의 모든 경우에 정답을 추출하는 것으로 나타났습니다. 또한 출력의 언어를 결정하기 위해 fasttext [23; 24]를 활용했습니다. 생성을 위해 욕심 샘플링을 사용하고 제로 샷 패스@1 정확도를 계산했습니다.