ResultFigure 9 shows the distribution of \(\textsc{CnstScore}\) computed with different styles of prompts \(\tau^{\prime}\) as written in the y-axis. The red case is the consistency score of the two-hop prompt that we mainly study in our work, which requires full multi-hop reasoning. Because no information to reason from is given in the input, \(\textsc{CnstScore}\) is significantly lower than the cases of other CoT-style prompts. The blue case is where what the descriptive mention refers to is given as the input, but what the LLM knows about the bridge entity's attribute needs to be internally recalled and referred to. The green cases are where the bridge entity's attribute, i.e., the answer to the prompt, is explicitly given in the input, and thus, the LLM does not need to refer to its answer to the one-hop prompt. The result demonstrates that the mean of \(\textsc{CnstScore}\) is higher for the blue cases where the model is forced to refer to its answer to the one-hop prompt than in the green cases where the model does not need to refer to the answer. The difference between the red and the blue cases would have come from the existence of the information of the descriptive mention's identity in the input prompt, which would have helped the LLM to use the connection to refer to what it knows about the bridge entity.
결과그림 9는 y축에 기재된 것처럼 다양한 스타일의 prompts \(\tau^{\prime}\)로 계산된 \(\textsc{CnstScore}\)의 분포를 보여준다. 빨간색 사례는 우리 연구에서 주로 연구하는 2-hop prompt의 일관성 점수로, 완전한 multi-hop reasoning이 필요하다. 입력에 reasoning할 정보가 제공되지 않기 때문에 \(\textsc{CnstScore}\)는 다른 CoT 스타일의 prompts의 경우보다 훨씬 낮다. 파란색 사례는 설명이 언급하는 내용이 입력으로 주어지지만, LLM이 bridge entity의 속성에 대해 알고 있는 내용을 내부적으로 기억하여 참조해야 하는 경우이다. 녹색 사례는 bridge entity의 속성, 즉 prompt에 대한 답이 입력에 명시적으로 주어지므로 LLM이 한 단계 prompt에 대한 답을 참조할 필요가 없는 경우이다. 이 결과는 답변을 참조할 필요가 없는 녹색 사례보다 모델이 한 단계 prompt에 대한 답변을 참조하도록 강제하는 파란색 사례에서 \(\textsc{CnstScore}\)의 평균이 더 높다는 것을 보여줍니다. 빨간색과 파란색 사례의 차이는 입력 prompt에 설명적 언급의 신원 정보가 존재하여 LLM이 bridge entity에 대해 알고 있는 내용을 참조하는 데 도움이 되었을 것이기 때문입니다.
결과그림 9는 y축에 기재된 것처럼 다양한 스타일의 프롬프트 \(\tau^{\prime}\)로 계산된 \(\textsc{CnstScore}\)의 분포를 보여준다. 빨간색 사례는 우리 연구에서 주로 연구하는 2홉 프롬프트의 일관성 점수로, 완전한 다중 홉 추론이 필요하다. 입력에 추론할 정보가 제공되지 않기 때문에 \(\textsc{CnstScore}\)는 다른 CoT 스타일의 프롬프트의 경우보다 훨씬 낮다. 파란색 사례는 설명이 언급하는 내용이 입력으로 주어지지만, LLM이 다리 엔티티의 속성에 대해 알고 있는 내용을 내부적으로 기억하여 참조해야 하는 경우이다. 녹색 사례는 다리 엔티티의 속성, 즉 프롬프트에 대한 답이 입력에 명시적으로 주어지므로 LLM이 한 단계 프롬프트에 대한 답을 참조할 필요가 없는 경우이다. 이 결과는 답변을 참조할 필요가 없는 녹색 사례보다 모델이 한 단계 프롬프트에 대한 답변을 참조하도록 강제하는 파란색 사례에서 \(\textsc{CnstScore}\)의 평균이 더 높다는 것을 보여줍니다. 빨간색과 파란색 사례의 차이는 입력 프롬프트에 설명적 언급의 신원 정보가 존재하여 LLM이 다리 엔티티에 대해 알고 있는 내용을 참조하는 데 도움이 되었을 것이기 때문입니다.