Little is publicly known about the inner workings of today's most popular large language models, such as GPT-4, Claude 2, or Gemini. The GPT-4 technical report states it "contains no [...] details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar" (OpenAI et al., 2023). Similarly, the PaLM-2 paper states that "details of [the] model size and architecture are withheld from external publication" (Anil et al., 2023). This secrecy is often ascribed to "the competitive landscape" (because these models are expensive to train) and the "safety implications of large-scale models" (OpenAI et al., 2023) (because it is easier to attack models when more information is available). Nevertheless, while these models' weights and internal details are not publicly accessible, the models themselves are exposed via APIs.
오늘날 가장 인기 있는 Large Language Models (예: GPT-4, Claude 2 또는 Gemini)의 내부 작동 방식에 대해 공개적으로 알려진 바는 거의 없습니다. GPT-4 기술 보고서에는 "아키텍처(모델 크기 포함), 하드웨어, 훈련 컴퓨팅, 데이터 세트 구성, 훈련 방법 등에 대한 세부 정보가 포함되어 있지 않다"고 명시되어 있습니다(OpenAI 외, 2023). 마찬가지로 PaLM-2 논문에는 "[모델] 크기와 아키텍처의 세부 정보는 외부 공개가 보류되어 있다"고 명시되어 있습니다(Anil 외, 2023). 이러한 비밀은 "경쟁 환경"(이러한 모델을 훈련하는 데 많은 비용이 들기 때문에)과 "대규모 모델의 안전성 문제"(더 많은 정보를 이용할 수 있을 때 모델을 공격하기 쉽기 때문에) 때문인 경우가 많습니다(OpenAI 외, 2023). 그럼에도 불구하고 이러한 모델의 가중치와 내부 세부 정보는 공개적으로 접근할 수 없지만, 모델 자체는 API를 통해 노출됩니다.
오늘날 가장 인기 있는 대규모 언어 모델(예: GPT-4, 클라우드 2 또는 지미니)의 내부 작동 방식에 대해 공개적으로 알려진 바는 거의 없습니다. GPT-4 기술 보고서에는 "아키텍처(모델 크기 포함), 하드웨어, 훈련 컴퓨팅, 데이터 세트 구성, 훈련 방법 등에 대한 세부 정보가 포함되어 있지 않다"고 명시되어 있습니다(OpenAI 외, 2023). 마찬가지로 PaLM-2 논문에는 "[모델] 크기와 아키텍처의 세부 정보는 외부 공개가 보류되어 있다"고 명시되어 있습니다(Anil 외, 2023). 이러한 비밀은 "경쟁 환경"(이러한 모델을 훈련하는 데 많은 비용이 들기 때문에)과 "대규모 모델의 안전성 문제"(더 많은 정보를 이용할 수 있을 때 모델을 공격하기 쉽기 때문에) 때문인 경우가 많습니다(OpenAI 외, 2023). 그럼에도 불구하고 이러한 모델의 가중치와 내부 세부 정보는 공개적으로 접근할 수 없지만, 모델 자체는 API를 통해 노출됩니다.