* First release on March 31, 2023: the initial version. * Update on April 9, 2023: add the affiliation information, revise Figure 3 and Table 1 and clarify the corresponding selection criterion for LLMs, improve the writing, and correct some minor errors. * Update on April 11, 2023: correct the errors for library resources. * Update on April 12, 2023: revise Figure 3 and Table 1, and clarify the release date of LLMs.
* Update on April 16, 2023: add a new Section 2.2 about the technical evolution of GPT-series models. * Update on April 24, 2023: add the discussion about scaling laws and add some explanations about the model sizes for emergent abilities (Section 2.1); add an illustrative figure for the attention patterns for different architectures in Figure 9, and add the detailed formulas in Table 6. * Update on April 25, 2023: revise some copy errors in figures and tables. * Update on April 27, 2023: add efficient tuning in Section 5.3.
* Update on April 28, 2023: revise Section 5.3.
* Update on May 7, 2023: revise Table 1, Table 2, and some minor points. * Update on June 29, 2023 (major revision):
* Section 1: add Figure 1 for the trends of published LLM papers in arXiv;
* Section 2: add Figure 4 for GPT's evolution and the corresponding discussion;
* Section 3: add Figure 5 for LLMA family and the corresponding discussion;
* Section 5: add latest discussion about the synthetic data formatting of instruction tuning in Section 5.1.1, the empirical analysis for instruction tuning in Section 5.1.4, parameter-efficient model adaptation in Section 5.3 and memory-efficient adaptation in Section 5.4;
* Section 6: add latest discussion about the underlying mechanism of LCL 6.2.3, planning for complex task solving in Section 6.4;
* Section 7: update Table 14 for representative datasets for evaluating advanced abilities of LLMs, and empirical ability evaluation in Section 7.4;
* Section 6.1.1: add prompt design;
* Section 8: add the discussions on applications of LLMs in finance and scientific research domains;
* Update on September 10, 2023 (major revision):
* Claim the copyrights of the figures and tables in this paper. * Add latest LLMs, techniques and their descriptions in Section 3, Section 4, Section 5, Section 6 and Section 7;
* Section 4: add latest discussion about the decoding strategy in Section 4.2.5;
* Section 5: add latest discussion about the practical tricks for instruction tuning in Section 5.1.2, the empirical analysis on LLMA (13B) for instruction tuning in Section 5.1.4, practical strategies for RLHF in Section 5.2.3, alignment without RLHF in Section 5.2.4 and remarks on SFT and RLHF in Section 5.2.5;
* Section 6: update the content about the planning for complex task solving in Section 6.4;
* Section 7: add discussions about evaluation approaches in Section 7.3.2, Table 15 for the category of existing evaluation work, and update empirical ability evaluation in Section 7.4 and the results on Table 16;
* Section 6.1.1: add new prompt examples in Table 12;
* Update on November 23, 2023 (this version):
* Section 1: add Figure 2 for the evolution process of four generations of language models;
* Section 2: add more discussion about scaling laws and how emergent abilities relate to scaling laws;
* Section 3: add latest LLMs in Figure 3 and Table 1, latest APIs in Section 3.1, commonly used datasets
for instruction tuning and alignment tuning in Section 3.3, and several libraries in Section 3.4;
* Section 4: add latest discussion about the data scheduling, including data mixtures and data curriculum in Section 4.1.3; add summary of data preparation in Section 4.1.4; add discussion about modeling long context in Section 4.2.4; add discussion about decoding efficiency issues and add latest decoding strategies in Section 4.2.5;
* Section 5: add latest discussion about instance construction and tuning strategies in Section 5.1; add latest discussion about process-supervised RLHF in Section 5.2.3, and the empirical study on quantized LLaMA models (7B and 13B) in Section 5.4.3;
* Section 6: add latest discussion about prompt optimization in Section 6.1.2, and update the content about chain-of-thought prompting in Section 6.3;
* Section 8: add latest discussion about LLM for research directions in Section 8.1;
* Section 9: revise the content in the several aspects.
* 2023년 3월 31일 첫 번째 릴리스: 초기 버전. * 2023년 4월 9일 업데이트: 소속 정보를 추가하고, 그림 3과 표 1을 수정하고, LLM에 대한 해당 선택 기준을 명확히 하고, 글쓰기를 개선하고, 일부 사소한 오류를 수정합니다. * 2023년 4월 11일 업데이트: 라이브러리 리소스에 대한 오류를 수정합니다. * 2023년 4월 12일 업데이트: 그림 3과 표 1을 수정하고, LLM의 출시일을 명확히 합니다.* 2023년 4월 16일 업데이트: GPT 시리즈 모델의 기술적 진화에 대한 새로운 섹션 2.2를 추가합니다. * 2023년 4월 24일 업데이트: Scaling laws에 대한 논의를 추가하고, 새로운 능력에 대한 모델 크기에 대한 설명을 추가합니다(섹션 2.1); 그림 9에 다양한 아키텍처에 대한 attention 패턴에 대한 설명을 추가하고, 표 6에 자세한 공식을 추가합니다. * 2023년 4월 25일 업데이트: 그림과 표의 일부 사본 오류를 수정합니다. * 2023년 4월 27일 업데이트: 섹션 5.3에 효율적인 튜닝을 추가합니다.* 2023년 4월 28일 업데이트: 섹션 5.3을 수정합니다.* 2023년 5월 7일 업데이트: 표 1, 표 2 및 몇 가지 사소한 사항을 수정합니다. * 2023년 6월 29일 업데이트(주요 수정):* 섹션 1: arXiv에 게시된 LLM 논문의 추세에 대한 그림 1을 추가합니다;* 섹션 2: GPT의 진화와 그에 따른 논의에 대한 그림 4를 추가합니다;* 섹션 3: LLMA 제품군에 대한 그림 5와 그에 따른 논의를 추가합니다;* 섹션 5: 섹션 5.1.1의 Instruction Tuning의 합성 데이터 포맷팅에 대한 최신 논의, 섹션 5.1.4의 Instruction Tuning에 대한 경험적 분석, 섹션 5.3의 파라미터 효율적 모델 적응, 섹션 5.4의 메모리 효율적 적응에 대한 최신 논의를 추가합니다;* 섹션 6: 섹션 6.2.3의 기본 메커니즘, 섹션 6.4의 복잡한 작업 해결을 위한 계획에 대한 최신 논의를 추가합니다;* 섹션 7: LLM의 고급 능력을 평가하기 위한 대표적인 데이터 세트에 대한 표 14와 섹션 7.4의 경험적 능력 평가를 업데이트합니다;* 섹션 6.1.1: 프롬프트 설계를 추가합니다;* 섹션 8: 금융 및 과학 연구 영역에서 LLM의 응용에 대한 논의를 추가합니다;* 2023년 9월 10일 업데이트(주요 수정):* 본 논문의 그림과 표에 대한 저작권을 주장합니다. * 섹션 3, 섹션 4, 섹션 5, 섹션 6 및 섹션 7에 최신 LLM, 기술 및 기술 설명을 추가합니다;* 섹션 4: 섹션 4.2.5의 디코딩 전략에 대한 최신 논의를 추가합니다;* 섹션 5: 섹션 5.1.2의 Instruction Tuning을 위한 실용적인 트릭, 섹션 5.1.4의 Instruction Tuning을 위한 LLMA(13B)에 대한 경험적 분석, 섹션 5.2.3의 RLHF를 위한 실용적인 전략, 섹션 5.2.5의 SFT 및 RLHF에 대한 발언 등에 대한 최신 논의를 추가합니다;* 섹션 6: 섹션 6.4의 복잡한 작업 해결을 위한 계획에 대한 내용을 업데이트합니다;* 섹션 7: 섹션 7.3.2의 평가 접근법에 대한 논의, 기존 평가 작업의 범주에 대한 표 15를 추가하고, 섹션 7.4의 경험적 능력 평가와 표 16의 결과를 업데이트합니다;* 섹션 6.1.1: 표 12에 새로운 프롬프트 예제를 추가합니다;* 2023년 11월 23일 업데이트(이 버전):* 섹션 1: 네 가지 언어 모델 세대의 진화 과정을 보여주는 그림 2를 추가합니다;* 섹션 2: Scaling laws와 새로운 능력이 Scaling laws와 어떻게 관련되는지에 대한 논의를 추가합니다;* 섹션 3: 그림 3과 표 1의 최신 LLM, 섹션 3.1의 최신 API, 섹션 3.3의 Instruction Tuning 및 정렬 튜닝을 위한 일반적으로 사용되는 데이터 세트, 섹션 3.4의 여러 라이브러리를 추가합니다;* 섹션 4: 섹션 4.1.3의 데이터 혼합 및 데이터 커리큘럼을 포함한 데이터 스케줄링에 대한 최신 논의를 추가합니다. 섹션 4.1.4에 데이터 준비 요약을 추가합니다. 섹션 4.2.4에 긴 컨텍스트 모델링에 대한 논의를 추가합니다. 섹션 4.2.5에 디코딩 효율성 문제에 대한 논의와 최신 디코딩 전략을 추가합니다;* 섹션 5: 섹션 5.1의 인스턴스 구성 및 튜닝 전략에 대한 최신 논의를 추가합니다. 섹션 5.2.3의 프로세스 지도 RLHF에 대한 최신 논의와 섹션 5.4.3의 Quantized LLaMA 모델(7B 및 13B)에 대한 경험적 연구를 추가합니다;* 섹션 6: 섹션 6.1.2의 프롬프트 최적화에 대한 최신 논의를 추가하고, 섹션 6.3의 생각의 연쇄 프롬프트에 대한 내용을 업데이트합니다;* 섹션 8: 섹션 8.1의 연구 방향에 대한 LLM에 대한 최신 논의를 추가합니다;* 섹션 9: 여러 측면에서 내용을 수정합니다.
* 2023년 3월 31일 첫 번째 릴리스: 초기 버전. * 2023년 4월 9일 업데이트: 소속 정보를 추가하고, 그림 3과 표 1을 수정하고, LLM에 대한 해당 선택 기준을 명확히 하고, 글쓰기를 개선하고, 일부 사소한 오류를 수정합니다. * 2023년 4월 11일 업데이트: 라이브러리 리소스에 대한 오류를 수정합니다. * 2023년 4월 12일 업데이트: 그림 3과 표 1을 수정하고, LLM의 출시일을 명확히 합니다.* 2023년 4월 16일 업데이트: GPT 시리즈 모델의 기술적 진화에 대한 새로운 섹션 2.2를 추가합니다. * 2023년 4월 24일 업데이트: 스케일링 법칙에 대한 논의를 추가하고, 새로운 능력에 대한 모델 크기에 대한 설명을 추가합니다(섹션 2.1); 그림 9에 다양한 아키텍처에 대한 주의 패턴에 대한 설명을 추가하고, 표 6에 자세한 공식을 추가합니다. * 2023년 4월 25일 업데이트: 그림과 표의 일부 사본 오류를 수정합니다. * 2023년 4월 27일 업데이트: 섹션 5.3에 효율적인 튜닝을 추가합니다.* 2023년 4월 28일 업데이트: 섹션 5.3을 수정합니다.* 2023년 5월 7일 업데이트: 표 1, 표 2 및 몇 가지 사소한 사항을 수정합니다. * 2023년 6월 29일 업데이트(주요 수정):* 섹션 1: arXiv에 게시된 LLM 논문의 추세에 대한 그림 1을 추가합니다;* 섹션 2: GPT의 진화와 그에 따른 논의에 대한 그림 4를 추가합니다;* 섹션 3: LLMA 제품군에 대한 그림 5와 그에 따른 논의를 추가합니다;* 섹션 5: 섹션 5.1.1의 명령어 튜닝의 합성 데이터 포맷팅에 대한 최신 논의, 섹션 5.1.4의 명령어 튜닝에 대한 경험적 분석, 섹션 5.3의 파라미터 효율적 모델 적응, 섹션 5.4의 메모리 효율적 적응에 대한 최신 논의를 추가합니다;* 섹션 6: 섹션 6.2.3의 기본 메커니즘, 섹션 6.4의 복잡한 작업 해결을 위한 계획에 대한 최신 논의를 추가합니다;* 섹션 7: LLM의 고급 능력을 평가하기 위한 대표적인 데이터 세트에 대한 표 14와 섹션 7.4의 경험적 능력 평가를 업데이트합니다;* 섹션 6.1.1: 프롬프트 설계를 추가합니다;* 섹션 8: 금융 및 과학 연구 영역에서 LLM의 응용에 대한 논의를 추가합니다;* 2023년 9월 10일 업데이트(주요 수정):* 본 논문의 그림과 표에 대한 저작권을 주장합니다. * 섹션 3, 섹션 4, 섹션 5, 섹션 6 및 섹션 7에 최신 LLM, 기술 및 기술 설명을 추가합니다;* 섹션 4: 섹션 4.2.5의 디코딩 전략에 대한 최신 논의를 추가합니다;* 섹션 5: 섹션 5.1.2의 명령어 튜닝을 위한 실용적인 트릭, 섹션 5.1.4의 명령어 튜닝을 위한 LLMA(13B)에 대한 경험적 분석, 섹션 5.2.3의 RLHF를 위한 실용적인 전략, 섹션 5.2.5의 SFT 및 RLHF에 대한 발언 등에 대한 최신 논의를 추가합니다;* 섹션 6: 섹션 6.4의 복잡한 작업 해결을 위한 계획에 대한 내용을 업데이트합니다;* 섹션 7: 섹션 7.3.2의 평가 접근법에 대한 논의, 기존 평가 작업의 범주에 대한 표 15를 추가하고, 섹션 7.4의 경험적 능력 평가와 표 16의 결과를 업데이트합니다;* 섹션 6.1.1: 표 12에 새로운 프롬프트 예제를 추가합니다;* 2023년 11월 23일 업데이트(이 버전):* 섹션 1: 네 가지 언어 모델 세대의 진화 과정을 보여주는 그림 2를 추가합니다;* 섹션 2: 스케일링 법칙과 새로운 능력이 스케일링 법칙과 어떻게 관련되는지에 대한 논의를 추가합니다;* 섹션 3: 그림 3과 표 1의 최신 LLM, 섹션 3.1의 최신 API, 섹션 3.3의 명령어 튜닝 및 정렬 튜닝을 위한 일반적으로 사용되는 데이터 세트, 섹션 3.4의 여러 라이브러리를 추가합니다;* 섹션 4: 섹션 4.1.3의 데이터 혼합 및 데이터 커리큘럼을 포함한 데이터 스케줄링에 대한 최신 논의를 추가합니다. 섹션 4.1.4에 데이터 준비 요약을 추가합니다. 섹션 4.2.4에 긴 컨텍스트 모델링에 대한 논의를 추가합니다. 섹션 4.2.5에 디코딩 효율성 문제에 대한 논의와 최신 디코딩 전략을 추가합니다;* 섹션 5: 섹션 5.1의 인스턴스 구성 및 튜닝 전략에 대한 최신 논의를 추가합니다. 섹션 5.2.3의 프로세스 지도 RLHF에 대한 최신 논의와 섹션 5.4.3의 양자화된 LLaMA 모델(7B 및 13B)에 대한 경험적 연구를 추가합니다;* 섹션 6: 섹션 6.1.2의 프롬프트 최적화에 대한 최신 논의를 추가하고, 섹션 6.3의 생각의 연쇄 프롬프트에 대한 내용을 업데이트합니다;* 섹션 8: 섹션 8.1의 연구 방향에 대한 LLM에 대한 최신 논의를 추가합니다;* 섹션 9: 여러 측면에서 내용을 수정합니다.