The advent of ChatGPT has significantly impacted both academia and industry due to its interactive capabilities and widespread application, establishing itself as a leading artificial intelligence tool (Laskar et al., 2023; Jahan et al., 2023; Huang and Huang, 2024). At the core of ChatGPT is the large language model (LLM) GPT-4, as detailed by (OpenAI et al., 2023), which has seen numerous enhancements to its predecessors, showcasing exceptional abilities in a variety of Natural Language Processing (NLP) tasks (Laskar et al., 2020). Despite these advancements, the adoption of LLMs has highlighted several critical issues primarily due to their reliance on extensive datasets. This reliance restricts their ability to incorporate new information post-training, leading to three primary challenges. First, the focus on broad and general data to maximize accessibility and applicability results in subpar performance in specialized areas. Second, the rapid creation of online data, combined with the significant resources required for data annotation and model training, hinders LLMs' ability to stay updated. Third, LLMs are susceptible to generating convincing yet inaccurate responses, known as "hallucinations", which can mislead users.
ChatGPT의 등장은 대화형 기능과 광범위한 적용으로 학계와 산업계에 큰 영향을 미쳤으며, 인공지능 도구로서 선도적인 위치를 차지하고 있습니다(Laskar et al., 2023; Jahan et al., 2023; Huang과 Huang, 2024). ChatGPT의 핵심은 Large Language Model (LLM)인 GPT-4이며, (OpenAI et al., 2023)에서 자세히 설명한 바와 같이 이전 모델에 비해 다양한 Natural Language Processing (NLP) 작업에서 뛰어난 능력을 보여주는 여러 가지 개선 사항이 있었습니다(Laskar et al., 2020). 이러한 발전에도 불구하고 LLM의 채택은 광범위한 데이터 세트에 대한 의존으로 인해 몇 가지 중요한 문제를 부각시켰습니다. 이러한 의존성은 학습 후 새로운 정보를 통합하는 능력을 제한하여 세 가지 주요 과제로 이어집니다. 첫째, 접근성과 적용성을 극대화하기 위해 광범위하고 일반적인 데이터에 초점을 맞추다 보니 전문 분야에서의 성능이 저하됩니다. 둘째, 온라인 데이터의 급속한 생성과 데이터 주석과 모델 학습에 필요한 상당한 리소스로 인해 LLM의 업데이트 능력이 저해됩니다. 셋째, LLM은 사용자를 오도할 수 있는 'Hallucination'으로 알려진 설득력 있지만 부정확한 응답을 생성하기 쉽습니다.
ChatGPT의 등장은 대화형 기능과 광범위한 적용으로 학계와 산업계에 큰 영향을 미쳤으며, 인공지능 도구로서 선도적인 위치를 차지하고 있습니다(Laskar et al., 2023; Jahan et al., 2023; Huang과 Huang, 2024). ChatGPT의 핵심은 대규모 언어 모델(LLM)인 GPT-4이며, (OpenAI et al., 2023)에서 자세히 설명한 바와 같이 이전 모델에 비해 다양한 자연어 처리(NLP) 작업에서 뛰어난 능력을 보여주는 여러 가지 개선 사항이 있었습니다(Laskar et al., 2020). 이러한 발전에도 불구하고 LLM의 채택은 광범위한 데이터 세트에 대한 의존으로 인해 몇 가지 중요한 문제를 부각시켰습니다. 이러한 의존성은 학습 후 새로운 정보를 통합하는 능력을 제한하여 세 가지 주요 과제로 이어집니다. 첫째, 접근성과 적용성을 극대화하기 위해 광범위하고 일반적인 데이터에 초점을 맞추다 보니 전문 분야에서의 성능이 저하됩니다. 둘째, 온라인 데이터의 급속한 생성과 데이터 주석과 모델 학습에 필요한 상당한 리소스로 인해 LLM의 업데이트 능력이 저해됩니다. 셋째, LLM은 사용자를 오도할 수 있는 '환각'으로 알려진 설득력 있지만 부정확한 응답을 생성하기 쉽습니다.