Evaluation ConfigurationsFor T5 based models, all evaluation is done in a zero-shot manner and is processed with a single GPU. For InvariantLAMA, the input and output length is fixed as 25 and 4 respectively. For UpdatedLAMA and NewLAMA, the input and output length is 50 and 10 respectively. Lastly, the input and output length is 150 and 10 respectively for NewLAMA-Easy. The rationale of this hyperparameter is based on average input and answer token in Table 5.
평가 구성T5 기반 모델의 경우, 모든 평가는 zero-shot 방식으로 수행되며 단일 GPU로 처리됩니다. InvariantLAMA의 경우 입력 및 출력 길이는 각각 25와 4로 고정되어 있습니다. UpdatedLAMA 및 NewLAMA의 경우 입력 및 출력 길이는 각각 50 및 10입니다. 마지막으로, NewLAMA-Easy의 경우 입력 및 출력 길이는 각각 150 및 10입니다. 이 하이퍼파라미터의 근거는 표 5의 평균 입력 및 답변 토큰을 기반으로 합니다.
평가 구성T5 기반 모델의 경우, 모든 평가는 제로 샷 방식으로 수행되며 단일 GPU로 처리됩니다. InvariantLAMA의 경우 입력 및 출력 길이는 각각 25와 4로 고정되어 있습니다. 업데이트된 LAMA 및 NewLAMA의 경우 입력 및 출력 길이는 각각 50 및 10입니다. 마지막으로, NewLAMA-Easy의 경우 입력 및 출력 길이는 각각 150 및 10입니다. 이 하이퍼파라미터의 근거는 표 5의 평균 입력 및 답변 토큰을 기반으로 합니다.