Despite the progress and impact, the underlying principles of LLMs are still not well explored. Firstly, it is mysterious why emergent abilities occur in LLMs, instead of smaller PLMs. As a more general issue, there lacks a deep, detailed investigation of the key factors that contribute to the superior abilities of LLMs. It is important to study when and how LLMs obtain such abilities [47]. Although there are some meaningful discussions about this problem [47, 31], more principled investigations are needed to uncover the _"secrets"_ of LLMs. Secondly, it is difficult for the research community to train capable LLMs. Due to the huge demand of computation resources, it is very costly to carry out repetitive, ablating studies for investigating the effect of various strategies for training LLMs. Indeed, LLMs are mainly trained by industry, where many important training details (_e.g.,_ data collection and cleaning) are not revealed to the public. Thirdly, it is challenging to align LLMs with human values or preferences. Despite the capacities, LLMs are also likely to produce toxic, fictitious, or harmful contents. It requires effective and efficient control approaches to eliminating the potential risk of the use of LLMs [46].
진전과 영향에도 불구하고 LLM의 기본 원리는 아직 잘 탐구되지 않았습니다. 첫째, 더 작은 PLM이 아닌 LLM에서 emergent abilities가 발생하는 이유가 신비합니다. 보다 일반적인 문제로서, LLM의 우수한 능력에 기여하는 핵심 요인에 대한 심도 있고 상세한 조사가 부족합니다. LLM이 언제 어떻게 그러한 능력을 갖추는지 연구하는 것이 중요합니다[47]. 이 문제에 대한 의미 있는 논의가 있지만[47, 31], LLM의 '비밀'을 밝히기 위해서는 보다 원칙적인 조사가 필요합니다. 둘째, 연구 커뮤니티가 유능한 LLM을 훈련하는 것은 어렵습니다. 막대한 컴퓨팅 리소스가 필요하기 때문에 LLM 훈련을 위한 다양한 전략의 효과를 조사하기 위한 반복적이고 절제적인 연구를 수행하는 데는 많은 비용이 듭니다. 실제로 LLM은 주로 업계에서 훈련하며, 많은 중요한 훈련 세부 사항(_예:_ 데이터 수집 및 정리)이 대중에게 공개되지 않습니다. 셋째, LLM을 인간의 가치 또는 선호도에 맞추는 것은 어렵습니다. 능력에도 불구하고 LLM은 유독하거나 허구적이거나 유해한 콘텐츠를 생성할 가능성이 높습니다. LLM 사용의 잠재적 위험을 제거하기 위해서는 효과적이고 효율적인 제어 접근 방식이 필요합니다[46].
진전과 영향에도 불구하고 LLM의 기본 원리는 아직 잘 탐구되지 않았습니다. 첫째, 더 작은 PLM이 아닌 LLM에서 에머전트 능력이 발생하는 이유가 신비합니다. 보다 일반적인 문제로서, LLM의 우수한 능력에 기여하는 핵심 요인에 대한 심도 있고 상세한 조사가 부족합니다. LLM이 언제 어떻게 그러한 능력을 갖추는지 연구하는 것이 중요합니다[47]. 이 문제에 대한 의미 있는 논의가 있지만[47, 31], LLM의 '비밀'을 밝히기 위해서는 보다 원칙적인 조사가 필요합니다. 둘째, 연구 커뮤니티가 유능한 LLM을 훈련하는 것은 어렵습니다. 막대한 컴퓨팅 리소스가 필요하기 때문에 LLM 훈련을 위한 다양한 전략의 효과를 조사하기 위한 반복적이고 절제적인 연구를 수행하는 데는 많은 비용이 듭니다. 실제로 LLM은 주로 업계에서 훈련하며, 많은 중요한 훈련 세부 사항(_예:_ 데이터 수집 및 정리)이 대중에게 공개되지 않습니다. 셋째, LLM을 인간의 가치 또는 선호도에 맞추는 것은 어렵습니다. 능력에도 불구하고 LLM은 유독하거나 허구적이거나 유해한 콘텐츠를 생성할 가능성이 높습니다. LLM 사용의 잠재적 위험을 제거하기 위해서는 효과적이고 효율적인 제어 접근 방식이 필요합니다[46].