Can you summarize the following document?
        
  訓練樣本是多維特徵空間向量,其中每個訓練樣本帶有一個類別標籤。演算法的訓練階段只包含儲存的特徵向量和訓練樣本的標籤。  在分類階段,"k"是一個使用者定義的常數。一個沒有類別標籤的向量(查詢或測試點)將被歸類為最接近該點的"k"個樣本點中最頻繁使用的一類。  一般情況下,將歐氏距離作為距離度量,但是這是隻適用於連續變數。在文字分類這種離散變數情況下,另一個度量——重疊度量(或海明距離)可以用來作為度量。例如對於基因表達微陣列資料,"k"-NN也與Pearson和Spearman相關係數結合起來使用。通常情況下,如果運用一些特殊的演算法來計算度量的話,"k"近鄰分類精度可顯著提高,如運用大間隔最近鄰居或者鄰里成分分析法。  “多數表決”分類會在類別分佈偏斜時出現缺陷。也就是說,出現頻率較多的樣本將會主導測試點的預測結果,因為他們比較大可能出現在測試點的K鄰域而測試點的屬性又是通過"k"鄰域內的樣本計算出來的。解決這個缺點的方法之一是在進行分類時將樣本到"k"個近鄰點的距離考慮進去。"k"近鄰點中每一個的分類(對於迴歸問題來說,是數值)都乘以與測試點之間距離的成反比的權重。另一種克服偏斜的方式是通過資料表示形式的抽象。例如,在自組織對映(SOM)中,每個節點是相似的點的一個叢集的代表(中心),而與它們在原始訓練資料的密度無關。"K"-NN可以應用到SOM中。

  如何選擇一個最佳的K值取決於資料。一般情況下,在分類時較大的K值能夠減小噪聲的影響, 但會使類別之間的界限變得模糊。一個較好的K值能通過各種啟發式技術(見超引數優化)來獲取。  噪聲和非相關性特徵的存在,或特徵尺度與它們的重要性不一致會使K近鄰演算法的準確性嚴重降低。對於選取和縮放特徵來改善分類已經作了很多研究。一個普遍的做法是利用進化演算法優化功能擴充套件,還有一種較普遍的方法是利用訓練樣本的互資訊進行選擇特徵。  在二元(兩類)分類問題中,選取"k"為奇數有助於避免兩個分類平票的情形。在此問題下,選取最佳經驗"k"值的方法是自助法。

  - 最近鄰分類器可以被視為為最近鄰居分配權重formula_1以及為所有其他鄰居分配權重。這可以推廣到加權最近鄰分類器。也就是說,第近的鄰居被賦予權重formula_2,其中formula_3。關於加權最近鄰分類器的強一致性的類似結果也成立。  設formula_4表示權重為formula_5的加權最近鄰分類器。根據類別分佈的規律性條件,超額風險具有以下漸近展開 對常數 formula_7 and formula_8 當 formula_9 並且 formula_10。  最佳加權方案formula_11用於平衡上面顯示中的兩個項,如下所示:令 formula_12,  利用最優權重,超額風險的漸近展開中的主項是formula_17。當使用自助聚合時,類似的結果也是如此。

  原始樸素的演算法通過計算測試點到儲存樣本點的距離是比較容易實現的,但它屬於計算密集型的,特別是當訓練樣本集變大時,計算量也會跟著增大。多年來,許多用來減少不必要距離評價的近鄰搜尋演算法已經被提出來。使用一種合適的近鄰搜尋演算法能使K近鄰演算法的計算變得簡單許多。  近鄰演算法具有較強的一致性結果。隨著資料趨於無限,演算法保證錯誤率不會超過貝葉斯演算法錯誤率的兩倍。對於一些K值,K近鄰保證錯誤率不會超過貝葉斯的。

  近鄰演算法能用一種有效的方式隱含的計算決策邊界。另外,它也可以顯式的計算決策邊界,以及有效率的這樣做計算,使得計算複雜度是邊界複雜度的函式。

  K近鄰演算法也適用於連續變數估計,比如適用反距離加權平均多個K近鄰點確定測試點的值。該演算法的功能有:

  然而k最近鄰居法因為計算量相當的大,所以相當的耗時,Ko與Seo提出一演算法TCFP(text categorization using feature projection),嘗試利用特徵投影法來降低與分類無關的特徵對於系統的影響,並藉此提升系統效能,其實驗結果顯示其分類效果與k最近鄰居法相近,但其運算所需時間僅需k最近鄰居法運算時間的五十分之一。  除了針對檔案分類的效率,尚有研究針對如何促進"k"最近鄰居法在檔案分類方面的效果,如Han等人於2002年嘗試利用貪心法,針對檔案分類實做可調整權重的k最近鄰居法WAkNN(weighted adjusted k nearest neighbor),以促進分類效果;而Li等人於2004年提出由於不同分類的檔案本身有數量上有差異,因此也應該依照訓練集合中各種分類的檔案數量,選取不同數目的最近鄰居,來參與分類。
在模式識別領域中,最近鄰居法(KNN演算法,又譯K-近鄰演算法)是一種用於分類和迴歸的無母數統計方法。在這兩種情況下,輸入包含特徵空間(機器學習)(Feature Space)中的k個最接近的訓練樣本。