<commit_before>---
layout: post
title: SVM：线性可分
category: 机器学习
tags: SVM
keywords: SVM 机器学习
description: 
---

[TOC]

## 引例
    平面上有两种颜色(红色,蓝色)的点，如果用一条线可以完美的分开它们,即平面上的点线性可分。
    分开两种颜色的直线，有多种画法。SVM就是在无数条可以分类的直线中选择一条最佳的，这条直线距离两个类别最近点，都一样远。  
    而距离这分界线最近的点，就是Support  vector。这些vectors（点点）support了这条线，如果去掉这些点，分界线多半需要改变位置。
    
![1](/public/img/machineL/svm/p_01.png)

### 超平面
    平面上有两种颜色的球，用一条线分开它们。
    三维空间有两种颜色的球，用一个平面分开它们。
    扩展n维空间上，将这个 分割面 统一叫 超平面（Hyper Plane）

## 如何选择最佳超平面
    假设样本点到超平面距离为d，则最近样本点为min[d]。
    我们希望最靠近的点，到分割面的距离尽量大，即 max[min[d]]。

### 公式1: 点到线、面距离 
<code>
平面上一点P($x_0,y_0,z_0,...n_0$)  
平面方程$w_1x+w_2y+w_3z+ ... +w_nn+b=0$   
点P到平面距离$$
d = \frac{|w_1 x_0 + w_2 y_0 + w_3 z_0 + ... + w_n n_0 + b|}{\sqrt{w_1^2+w_2^2+w_3^2+ ... +w_n^2}}
$$
</code>



### 公式1: 向量表现形式

平面方程 $$
f(x)=  \begin{bmatrix}
      w_1 w_2 ... w_n
    \end{bmatrix} . 
    \begin{bmatrix}
      x y ... n
    \end{bmatrix}
    ^\mathsf{T} + b
 = \vec{w}.\vec{x}+b=0
$$

点$\vec{x_i}$=($x_i y_i z_i ... w_i$)到平面距离$$
d =\frac{|\vec{w}.\vec{x}+b|}{||\vec{w}||}
  =\frac{|f(x_i)|}{||\vec{w}||}
$$

$||\vec{w}||$为向量w的2范数。

### 推导
<commit_msg>typesetting<commit_after>---
layout: post
title: SVM：线性可分
category: 机器学习
tags: SVM
keywords: SVM 机器学习
description: 
---

[TOC]

## 引例
    平面上有两种颜色(红色,蓝色)的点，如果用一条线可以完美的分开它们,即平面上的点线性可分。
    分开两种颜色的直线，有多种画法。SVM就是在无数条可以分类的直线中选择一条最佳的，这条直线距离两个类别最近点，都一样远。  
    而距离这分界线最近的点，就是Support  vector。这些vectors（点点）support了这条线，如果去掉这些点，分界线多半需要改变位置。
    
![1](/public/img/machineL/svm/p_01.png)

### 超平面
    平面上有两种颜色的球，用一条线分开它们。
    三维空间有两种颜色的球，用一个平面分开它们。
    扩展n维空间上，将这个 分割面 统一叫 超平面（Hyper Plane）

## 如何选择最佳超平面
    假设样本点到超平面距离为d，则最近样本点为min[d]。
    我们希望最靠近的点，到分割面的距离尽量大，即 max[min[d]]。

### 公式1: 点到线、面距离 
<pre><code>
平面上一点P($x_0,y_0,z_0,...n_0$)  
平面方程$w_1x+w_2y+w_3z+ ... +w_nn+b=0$   
点P到平面距离$$
d = \frac{|w_1 x_0 + w_2 y_0 + w_3 z_0 + ... + w_n n_0 + b|}{\sqrt{w_1^2+w_2^2+w_3^2+ ... +w_n^2}}
$$
</code></pre>



### 公式1: 向量表现形式

平面方程 $$
f(x)=  \begin{bmatrix}
      w_1 w_2 ... w_n
    \end{bmatrix} . 
    \begin{bmatrix}
      x y ... n
    \end{bmatrix}
    ^\mathsf{T} + b
 = \vec{w}.\vec{x}+b=0
$$

点$\vec{x_i}$=($x_i y_i z_i ... w_i$)到平面距离$$
d =\frac{|\vec{w}.\vec{x}+b|}{||\vec{w}||}
  =\frac{|f(x_i)|}{||\vec{w}||}
$$

$||\vec{w}||$为向量w的2范数。

### 推导

{'fraction_non_alphanumeric': 0.22393312802463705, 'fraction_numerical': 0.027276726792784867, 'mean_word_length': 3.548, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 9, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '369991', 'n_tokens_mistral': 1577, 'n_tokens_neox': 1671, 'n_words': 154}