目的:一条直线去拟合样本点.
,  ,
引入  来表示  的矩阵.
,  ,其中  为1维实数.
拟合直线为:  ,其中  为偏置设为  ,则 .
最小二乘估计:
定义为:
误差的几何解释(将误差平均分散在每个样本上):
另一种几何解释(将误差平均分散在每个维度上):  ,其中  为  维,可以看成  维空间.
向量  不在  平面内(  维子空间),由于噪声或随机性(  直线拟合所有点,则向量  出现在平面上).则  向量独立于  平面.
可以看成向量  向  平面做投影,使得  到投影距离最小.转成去找投影  ,投影  可看作是  的线性组合.推广到  维空间,向量  向  维空间投影为  .
为  向  维空间投影过程种垂直于  维空间的向量,即表示向量  与投影之间的距离.