Recently, the AI landscape has borne witness to the emergence of numerous open-source LLMs, characterized by publicly accessible model codes and weight parameters. EleutherAI has contributed GPT-NeoX-20B [54] and GPT-J-6B [48]. BigScience has introduced BLOOM [55]. Similarly, Meta has made strides by releasing OPT [53], Llama 1 [4], Llama 2 [20], and GAL [14]. Tsinghua University has unveiled GLM-130B and ChatGLM [45]. TII has facilitated the release of Falcon [21]. Additionally, LLMs such as Baichuan9 and Qwen10 have also surfaced. Presently, Llama assumes a pivotal role as the foundational model for supervised fine-tuning, ushering in the emergence of several extremely remarkable models, including Alpaca [22], Vicuna [23], Guanaco [56], WizardLM [24], and Orca [57], RFT [16] etc.
최근에는 모델 코드와 가중치 파라미터를 공개적으로 접근할 수 있는 오픈 소스 LLM이 많이 등장했습니다. EleutherAI는 GPT-NeoX-20B [54]와 GPT-J-6B [48]를 기여했습니다. BigScience는 BLOOM [55]을 도입했습니다. 마찬가지로 Meta는 OPT [53], Llama 1 [4], Llama 2 [20], GAL [14]를 출시했습니다. 칭화대학교는 GLM-130B와 ChatGLM [45]을 공개했습니다. TII는 Falcon [21]의 출시를 촉진했습니다. 또한 Baichuan9와 Qwen10과 같은 LLM도 등장했습니다. 현재 Llama는 Supervised Fine-tuning의 기반 모델로서 Alpaca [22], Vicuna [23], Guanaco [56], WizardLM [24], Orca [57], RFT [16] 등 여러 가지 매우 주목할 만한 모델의 출현을 알리는 중심적인 역할을 하고 있습니다.
최근에는 모델 코드와 가중치 파라미터를 공개적으로 접근할 수 있는 오픈 소스 LLM이 많이 등장했습니다. EleutherAI는 GPT-NeoX-20B [54]와 GPT-J-6B [48]를 기여했습니다. 빅사이언스는 블룸 [55]을 도입했습니다. 마찬가지로 Meta는 OPT [53], 라마 1 [4], 라마 2 [20], GAL [14]를 출시했습니다. 칭화대학교는 GLM-130B와 ChatGLM [45]을 공개했습니다. TII는 팔콘 [21]의 출시를 촉진했습니다. 또한 바이추안9와 퀸10과 같은 LLM도 등장했습니다. 현재 램마는 지도 미세 조정의 기반 모델로서 알파카 [22], 비쿠나 [23], 과나코 [56], 마법사LM [24], 오르카 [57], RFT [16] 등 여러 가지 매우 주목할 만한 모델의 출현을 알리는 중심적인 역할을 하고 있습니다.