Multimodal-CoT Zhang et al. (2023) firstly fine-tunes multi-modal models to generate chain-of-thoughts and then reasons over the rationales to obtain final answers. However, it suffers from the limitation of the linearity of the reasoning process and has difficulties in interacting between different modalities. To alleviate the challenges encountered by Multimodal-CoT, Yao et al. (2023) proposes Graph-of-Thought (GoT), which models the thought processes as a graph. It parses the reasoning chains into a thought graph, which enables a more realistic representation of thought processes by capturing non-sequential information interactions. This measure breaks the limitations of linear structure through graphical structures and further improves performance. Furthermore, Yao et al. (2023) proposes Hypergraph-of-Thought (HoT), replacing thought graphs with hypergraphs, which enables models with better ability of high-order multi-hop reasoning and multi-modal comparative judgment. Meanwhile, some work takes an approach based on knowledge distillation. T-SciQ Wang et al. (2023) generates high-quality CoT rationales from LLMs as fine-tuning signals and introduces a novel data mixing strategy to produce effective samples for different questions.
멀티모달-CoT Zhang et al. (2023)은 먼저 멀티모달 모델을 Fine-tuning하여 생각의 사슬을 생성한 다음, 그 근거를 통해 추론하여 최종 답을 얻습니다. 그러나 추론 과정의 선형성 한계를 겪고 있으며, 서로 다른 방식 간의 상호 작용에 어려움을 겪고 있습니다. 멀티모달-CoT가 겪는 문제를 완화하기 위해 Yao et al. (2023)은 사고 과정을 그래프로 모델링하는 GoT(Graph-of-Thought)를 제안합니다. 추론 사슬을 사고 그래프로 구문 분석하여 비순차적 정보 상호 작용을 포착하여 사고 과정을 보다 현실적으로 표현할 수 있습니다. 이 측정은 그래픽 구조를 통해 선형 구조의 한계를 극복하고 성능을 더욱 향상시킵니다. 또한, Yao et al. (2023)은 사고 그래프를 하이퍼그래프로 대체하는 Hypergraph-of-Thought (HoT)를 제안하여 고차 멀티홉 추론과 멀티모달 비교 판단 능력이 더욱 향상된 모델을 제안합니다. 한편, 일부 연구에서는 지식 증류를 기반으로 하는 접근 방식을 취합니다. T-SciQ Wang et al. (2023)은 LLM에서 고품질 CoT 근거를 Fine-tuning 신호로 생성하고 새로운 데이터 믹싱 전략을 도입하여 다양한 질문에 대한 효과적인 샘플을 생성합니다.
멀티모달-CoT Zhang et al. (2023)은 먼저 멀티모달 모델을 미세 조정하여 생각의 사슬을 생성한 다음, 그 근거를 통해 추론하여 최종 답을 얻습니다. 그러나 추론 과정의 선형성 한계를 겪고 있으며, 서로 다른 방식 간의 상호 작용에 어려움을 겪고 있습니다. 멀티모달-CoT가 겪는 문제를 완화하기 위해 Yao et al. (2023)은 사고 과정을 그래프로 모델링하는 GoT(Graph-of-Thought)를 제안합니다. 추론 사슬을 사고 그래프로 구문 분석하여 비순차적 정보 상호 작용을 포착하여 사고 과정을 보다 현실적으로 표현할 수 있습니다. 이 측정은 그래픽 구조를 통해 선형 구조의 한계를 극복하고 성능을 더욱 향상시킵니다. 또한, Yao et al. (2023)은 사고 그래프를 하이퍼그래프로 대체하는 하이퍼그래프 오브 사고(HoT)를 제안하여 고차 멀티홉 추론과 멀티모달 비교 판단 능력이 더욱 향상된 모델을 제안합니다. 한편, 일부 연구에서는 지식 증류를 기반으로 하는 접근 방식을 취합니다. T-SciQ Wang et al. (2023)은 LLM에서 고품질 CoT 근거를 미세 조정 신호로 생성하고 새로운 데이터 믹싱 전략을 도입하여 다양한 질문에 대한 효과적인 샘플을 생성합니다.