The aforementioned studies explore multi-modal reasoning in small models and fine-tuning scenarios, which we regard as an initial endeavor in the realm of multi-modal chain-of-thought reasoning. We believe that video multi-modal reasoning combined with in-context learning should be the focus of future research. On the one hand, videos introduce additional temporal information with innate chaining relationships compared with images. Through chain-of-thought reasoning, the information in different frames can be naturally connected to explicitly model the temporal relationship, which is well-suited for video multi-modal reasoning. On the other hand, small models are capacity-limited and need fine-tuning to gain chain-of-thought ability. Worse still, multi-modal reasoning chains are difficult to obtain, which further exacerbates the challenge. In comparison, contemporary vision-language foundation models (VLMs) Alayrac et al. (2022); Li et al. (2023); Wang et al. (2022); Huang et al. (2023); Peng et al. (2023); Yu et al. (2021) have strong vision-language comprehension and are already capable of in-context learning with interleaved text and images. They provide a solid foundation for chain-of-thought reasoning with in-context learning. Utilizing chain-of-thought for video reasoning remains an unexplored territory with only a few studies. CoMT (Hu et al., 2023) combines fast-thinking and slow-thinking in video reasoning and introduces a tree search strategy for planning, which firstly applies CoT in video multi-modal reasoning.
앞서 언급한 연구들은 소규모 모델과 Fine-tuning 시나리오에서 다중 모달 추론을 탐구하는 것으로, 우리는 이를 다중 모달 연쇄 추론 영역에서의 초기 노력으로 간주합니다. 우리는 In-Context Learning과 결합된 비디오 다중 모달 추론이 향후 연구의 초점이 되어야 한다고 생각합니다. 한편으로 비디오는 이미지에 비해 타고난 연쇄 관계를 가진 추가적인 시간적 정보를 도입합니다. 연쇄 추론을 통해 여러 프레임의 정보를 자연스럽게 연결하여 시간적 관계를 명시적으로 모델링할 수 있으며, 이는 비디오 다중 모달 추론에 매우 적합합니다. 다른 한편으로, 소형 모델은 용량이 제한되어 있어 연쇄 추론 능력을 갖추기 위해 Fine-tuning이 필요합니다. 더욱이 다중 모달 추론 체인을 획득하기 어려워 문제가 더욱 악화됩니다. 이에 비해 최신 비전 언어 기반 모델(VLM) Alayrac et al. (2022); Li et al. (2023); Wang et al. (2022); Huang et al. (2023); Peng et al. (2023); Yu et al. (2021)은 강력한 시각 언어 이해력을 갖추고 있으며, 텍스트와 이미지가 인터리브된 In-Context Learning이 이미 가능합니다. 이러한 모델은 In-Context Learning을 통한 연쇄 추론을 위한 탄탄한 기반을 제공합니다. 비디오 추론에 연쇄 추론을 활용하는 것은 아직 몇몇 연구만이 있는 미개척 영역입니다. CoMT(Hu et al., 2023)는 비디오 추론에 빠른 사고와 느린 사고를 결합하고 계획을 위한 트리 검색 전략을 도입하여 비디오 다중 모달 추론에 CoT를 최초로 적용했습니다.
앞서 언급한 연구들은 소규모 모델과 미세 조정 시나리오에서 다중 모달 추론을 탐구하는 것으로, 우리는 이를 다중 모달 연쇄 추론 영역에서의 초기 노력으로 간주합니다. 우리는 인 kontext 학습과 결합된 비디오 다중 모달 추론이 향후 연구의 초점이 되어야 한다고 생각합니다. 한편으로 비디오는 이미지에 비해 타고난 연쇄 관계를 가진 추가적인 시간적 정보를 도입합니다. 연쇄 추론을 통해 여러 프레임의 정보를 자연스럽게 연결하여 시간적 관계를 명시적으로 모델링할 수 있으며, 이는 비디오 다중 모달 추론에 매우 적합합니다. 다른 한편으로, 소형 모델은 용량이 제한되어 있어 연쇄 추론 능력을 갖추기 위해 미세 조정이 필요합니다. 더욱이 다중 모달 추론 체인을 획득하기 어려워 문제가 더욱 악화됩니다. 이에 비해 최신 비전 언어 기반 모델(VLM) Alayrac et al. (2022); Li et al. (2023); Wang et al. (2022); Huang et al. (2023); Peng et al. (2023); Yu et al. (2021)은 강력한 시각 언어 이해력을 갖추고 있으며, 텍스트와 이미지가 인터리브된 인 컨텍스트 학습이 이미 가능합니다. 이러한 모델은 인 컨텍스트 학습을 통한 연쇄 추론을 위한 탄탄한 기반을 제공합니다. 비디오 추론에 연쇄 추론을 활용하는 것은 아직 몇몇 연구만이 있는 미개척 영역입니다. CoMT(Hu et al., 2023)는 비디오 추론에 빠른 사고와 느린 사고를 결합하고 계획을 위한 트리 검색 전략을 도입하여 비디오 다중 모달 추론에 CoT를 최초로 적용했습니다.