**Method 1: Self-Evaluation from Large LMs.** Fu et al. (2023) have demonstrated the emergent capabilities of large LMs in neural text evaluation, achieved through zero-shot instruction and in-context learning. The key idea is that, given the natural language description of desired task and evaluation aspects, large LMs can assess multi-dimensional text quality without any learning process. Motivated by this, we instruct FLAN-T5 XXL to evaluate 6 aspects of the machine-generated rationales. Similar to Fu et al. (2023)'s experiments, we investigate the performance of instruction-only (IST) prompting and instruction+demonstration (IDM) prompting. Let's say \(q\) and \(r^{\prime}\) denote a question and a machine-generated rationale that is yet to be evaluated. \(d\) represents the aspect definition of our interest from Table 1.
**방법 1: 대규모 LMs의 자체 평가.** Fu et al.(2023)은 zero-shot Instruction과 In-Context Learning을 통해 달성한 신경 텍스트 평가에서 대규모 LMs의 새로운 기능을 입증했습니다. 핵심 아이디어는 원하는 작업과 평가 측면에 대한 자연어 설명이 주어지면 대규모 LMs이 학습 과정 없이 다차원 텍스트 품질을 평가할 수 있다는 것입니다. 이러한 동기에서 FLAN-T5 XXL로 기계 생성된 근거의 6가지 측면을 평가하도록 지시했습니다. Fu et al.(2023)의 실험과 유사하게 Instruction-only (IST) 프롬프트와 Instruction+Demonstration (IDM) 프롬프트의 성능을 조사합니다. 질문과 아직 평가되지 않은 기계 생성된 근거를 나타내는 \(q\)와 \(r^{\prime}\)를 예로 들어봅시다. \(d\)는 표 1에서 우리가 관심 있는 측면 정의를 나타냅니다.
**방법 1: 대규모 LM의 자체 평가.** Fu et al.(2023)은 제로 샷 지시와 컨텍스트 내 학습을 통해 달성한 신경 텍스트 평가에서 대규모 LM의 새로운 기능을 입증했습니다. 핵심 아이디어는 원하는 작업과 평가 측면에 대한 자연어 설명이 주어지면 대규모 LM이 학습 과정 없이 다차원 텍스트 품질을 평가할 수 있다는 것입니다. 이러한 동기에서 FLAN-T5 XXL로 기계 생성된 근거의 6가지 측면을 평가하도록 지시했습니다. Fu et al.(2023)의 실험과 유사하게 지시만(IST) 프롬프트와 지시+데모(IDM) 프롬프트의 성능을 조사합니다. 질문과 아직 평가되지 않은 기계 생성된 근거를 나타내는 \(q\)와 \(r^{\prime}\)를 예로 들어봅시다. d\)는 표 1에서 우리가 관심 있는 측면 정의를 나타냅니다.