We use a self-supervised approach to fine-tune a LM to make accurate predictions and explanatory reasonings. We first prompt a base LM with various scratchpads to elicit forecasts to questions in our training set. We then fine-tune a new LM on the outputs that outperformed the crowd, which teaches the model what reasoning method to apply in a given context and improves forecasting performance. For hyperparameter search, we identify system configurations, including retrieval and LM prompting strategies, that lead to the best end-to-end performance.
정확한 예측과 설명적 추론을 위해 self-supervised 접근 방식을 사용하여 LM을 Fine-tuning합니다. 먼저 다양한 스크래치패드를 사용하여 기본 LM에 프롬프트를 제공하여 훈련 세트의 질문에 대한 예측을 이끌어냅니다. 그런 다음 크라우드보다 성능이 뛰어난 출력에 대해 새로운 LM을 Fine-tuning하여 특정 컨텍스트에서 어떤 추론 방법을 적용해야 하는지 모델에 가르치고 예측 성능을 개선합니다. 하이퍼파라미터 검색을 위해 retrieval 및 LM 프롬프트 전략을 포함한 시스템 구성을 식별하여 최상의 엔드투엔드 성능을 이끌어냅니다.
정확한 예측과 설명적 추론을 위해 자가 지도 접근 방식을 사용하여 LM을 미세 조정합니다. 먼저 다양한 스크래치패드를 사용하여 기본 LM에 프롬프트를 제공하여 훈련 세트의 질문에 대한 예측을 이끌어냅니다. 그런 다음 크라우드보다 성능이 뛰어난 출력에 대해 새로운 LM을 미세 조정하여 특정 컨텍스트에서 어떤 추론 방법을 적용해야 하는지 모델에 가르치고 예측 성능을 개선합니다. 하이퍼파라미터 검색을 위해 검색 및 LM 프롬프트 전략을 포함한 시스템 구성을 식별하여 최상의 엔드투엔드 성능을 이끌어냅니다.