Other reasoning tasks.Synthetic data also leads to impressive performance in other reasoning tasks. For instance, Wei et al. (2023a) augmented existing natural language datasets by replacing natural language labels with arbitrary symbols, generating over 500k synthetic examples. Using these synthetic data for supervised finetuning significantly improved model performance on unseen in-context learning and algorithmic-reasoning tasks. STaR (Zelikman et al., 2022) generates synthetic chain-of-thought rationales and filters out those leading to wrong answers for finetuning language models to improve their reasoning. In the domain of physics reasoning, Mind's Eye (Liu et al., 2022) takes a novel approach by training a text-to-code model with synthetic "text-description \(\rightarrow\) rendering code" data. This enables the model to convert textual questions into rendering code, which is then executed in a physical engine (i.e., DeepMind MuJoCo (Todorov et al., 2012)). The rendering results are injected into the context, allowing even small language models armed with Mind's Eye to achieve performance comparable to models 100 times larger.
다른 추론 작업. 합성 데이터는 다른 추론 작업에서도 인상적인 성능을 발휘합니다. 예를 들어, Wei 등(2023a)은 자연어 레이블을 임의의 기호로 대체하여 기존 자연어 데이터 세트를 증강하여 50만 개 이상의 합성 예제를 생성했습니다. 이러한 합성 데이터를 Supervised Fine-tuning에 사용하면 보이지 않는 In-Context Learning 및 알고리즘 추론 작업에서 모델 성능이 크게 향상되었습니다. STaR(Zelikman et al., 2022)은 합성된 생각의 연쇄 합리적 근거를 생성하고 잘못된 답변으로 이어지는 근거를 걸러내어 언어 모델을 Fine-tuning하여 추론 능력을 향상시킵니다. 물리학 추론 영역에서 Mind's Eye(Liu et al., 2022)는 합성된 '텍스트 설명(\(\rightarrow\) 렌더링 코드' 데이터로 텍스트-코드 모델을 훈련하는 새로운 접근 방식을 취합니다. 이를 통해 모델은 텍스트 질문을 렌더링 코드로 변환할 수 있으며, 이 코드는 물리 엔진(예: DeepMind MuJoCo(Todorov et al., 2012))에서 실행됩니다. 렌더링 결과는 컨텍스트에 주입되어 Mind's Eye를 갖춘 작은 언어 모델도 100배 더 큰 모델과 비슷한 성능을 달성할 수 있게 됩니다.
다른 추론 작업.합성 데이터는 다른 추론 작업에서도 인상적인 성능을 발휘합니다. 예를 들어, Wei 등(2023a)은 자연어 레이블을 임의의 기호로 대체하여 기존 자연어 데이터 세트를 증강하여 50만 개 이상의 합성 예제를 생성했습니다. 이러한 합성 데이터를 지도 미세 조정에 사용하면 보이지 않는 인컨텍스트 학습 및 알고리즘 추론 작업에서 모델 성능이 크게 향상되었습니다. STaR(Zelikman et al., 2022)은 합성된 생각의 연쇄 합리적 근거를 생성하고 잘못된 답변으로 이어지는 근거를 걸러내어 언어 모델을 미세 조정하여 추론 능력을 향상시킵니다. 물리학 추론 영역에서 Mind's Eye(Liu et al., 2022)는 합성된 '텍스트 설명(\우측수렴) 렌더링 코드' 데이터로 텍스트-코드 모델을 훈련하는 새로운 접근 방식을 취합니다. 이를 통해 모델은 텍스트 질문을 렌더링 코드로 변환할 수 있으며, 이 코드는 물리 엔진(예: DeepMind MuJoCo(Todorov et al., 2012))에서 실행됩니다. 렌더링 결과는 컨텍스트에 주입되어 Mind's Eye를 갖춘 작은 언어 모델도 100배 더 큰 모델과 비슷한 성능을 달성할 수 있게 됩니다.