在這些關於大語言模型的段落中，大語言模型是什麼時候出現的？
大型語言模型（LLM）是由神經網路組成的語言模型，具有許多引數（通常是數十億個或更多的權重），使用自監督學習在大量未標記的文字上進行訓練。LLM於2018年左右出現，並在各種任務中表現良好。這使得自然語言處理研究的重點從以前的專門針對特定任務訓練的專業監督模型的正規化轉移。

特性
雖然大型語言模型這個術語沒有正式的定義，但它通常指的是具有數十億或更多引數的深度學習模型。LLMs是通用模型，擅長各種任務，而不是為一個特定任務（如情感分析、命名實體識別或數學推理）進行訓練。它們完成任務的能力和範圍似乎是資源（資料、引數大小、計算能力）的函式，而不是依賴於設計的額外突破。

雖然在預測句子中的下一個單詞等簡單任務上進行訓練，但具有足夠訓練和引數數量的神經語言模型被發現能夠捕捉到人類語言的大部分語法和語義。此外，大型語言模型展示了相當多的關於世界的一般知識，並且在訓練期間能夠「記憶」大量事實。

幻覺
在人工智慧中，特別是在大型語言模型中，「幻覺」是指一個自信的響應，似乎並沒有被模型的訓練資料所證明。

新興能力
在涉及問題回答等任務的許多自然語言基準測試中，模型的表現直到達到一定規模（在這種情況下，由訓練計算量測量）才能達到隨機機會的水平，此後它們的表現急劇提高。這些是新興能力的例子。
在大型語言模型中觀察到的不可預測的能力，這些能力在較簡單的模型中不存在（並且沒有明確地設計到模型中），通常被稱為「新興能力」。研究人員指出，這些能力「不能僅透過推斷較小模型的效能來預測」。這些能力是被發現而不是程式設計或設計的，在某些情況下，僅在LLM公開部署後才能發現。已經描述了數百種新興能力。例如，多步算術、參加大學級考試、識別單詞的預期含義、思維鏈提示、解碼國際音標、解開單詞的字母、識別Hinglish段落中的冒犯內容（印地語和英語的組合）以及產生Kiswahili諺語的類似英語版本。

架構和訓練
大型語言模型最常用的是變壓器架構，自2018年以來，它已成為順序資料的標準深度學習技術（以前，迴圈架構如LSTM最常見）。LLMs以無監督的方式在未註釋的文字上進行訓練。從左到右的變壓器被訓練為最大化分配給訓練資料中下一個單詞的機率，給定先前的上下文。或者，LLM可以使用雙向變壓器（如BERT的示例），它在給定前後上下文的情況下分配單詞的機率分佈。除了預測下一個單詞或「填空」的任務外，LLMs還可以在輔助任務上進行訓練，這些任務測試它們對資料分佈的理解，例如下一個句子預測（NSP），其中呈現了一對句子，模型必須預測它們是否在訓練語料庫中並排出現。

最早的LLMs是在擁有數十億個單詞的語料庫上進行訓練的。 OpenAI的GPT系列中的第一個模型是在2018年在BookCorpus上進行訓練的，該語料庫包含985百萬個單詞。同年，BERT在BookCorpus和英文維基百科的組合上進行了訓練，總計33億個單詞。自那時以來，LLMs的訓練語料庫已經增加了數個數量級，達到數百億或數萬億個令牌。

LLMs的訓練成本很高。一項2020年的研究估計，訓練一個15億個引數的模型（比當時的最先進模型小1-2個數量級）的成本為160萬美元。

一項2020年的分析發現，神經語言模型的能力（按訓練損失衡量）與引數數量、訓練資料量和用於訓練的計算之間呈冪律關係。這些關係在廣泛的值範圍內進行了測試（高達七個數量級），在範圍的最高階（包括多達數萬億個引數的網路大小）沒有觀察到關係的衰減。

應用於下游任務
在2018年至2020年期間，利用LLM進行特定自然語言處理（NLP）任務的標準方法是透過額外的任務特定訓練對模型進行微調。隨後發現，更強大的LLMs（如GPT-3）可以透過「提示」技術解決問題，其中將要解決的問題作為文字提示呈現給模型，可能包括一些類似問題及其解決方案的文字示例。

微調
微調是透過在特定任務（例如情感分析、命名實體識別或詞性標註）上對現有的預訓練語言模型進行（監督式）訓練來修改它的實踐。它是一種遷移學習形式。它通常涉及引入一組新的權重，將語言模型的最終層連線到下游任務的輸出。語言模型的原始權重可以「凍結」，以便僅在訓練期間學習將它們連線到輸出的新權重層。或者，原始權重可能會接收小的更新（可能是早期層被凍結）。

提示
另請參閱：提示工程和少樣本學習（自然語言處理）
在提示範例中，透過文字提示來制定要解決的問題，模型必須透過推理提供完成。在「少樣本提示」中，提示包括少量類似（問題，解決方案）對的示例。例如，標記電影評論情感的情感分析任務可以提示如下：

評論：這部電影很爛。
情感：負面

評論：這部電影太棒了！
情感：

如果模型輸出「積極」，則它已正確解決了任務。在零樣本提示中，不提供解決示例。對於相同情感分析任務的零樣本提示的一個例子是「與電影評論'This movie is fantastic!'相關的情感是」。

已經證明，LLMs的少樣本效能在NLP任務上取得了競爭性的結果，有時甚至超過了先前的最先進的微調方法。這些NLP任務的例子是翻譯、問題回答、填空任務、解開單詞和在句子中使用新詞。建立和最佳化這些提示的過程稱為提示工程。

指令調整
指令調整是一種微調形式，旨在促進更自然和準確的零樣本提示互動。給定文字輸入，預訓練的語言模型將產生與其訓練的文字分佈相
2018年左右。