最大似然估计(频率派) 求解出,该对应的概率密度函数,使得当前数据出现的概率最大.当数据量足够大的时候,当接近于真实的的时候,似然函数会最大. 可以推导出最小二乘法. 最大后验估计(贝叶斯派,加入了先验) 最大后验估计认为参数服从一定的分布. 最大后验估计 等式右边第一项是似然,第二项是先验.求解参数成立最大的概率,引入参数的先验分布. 可以推导出ridge regression(假设参数w服从正太分布)和lasso(假设参数w服从拉普拉斯分布) 似然函数:,是概率密度函数,这里是自变量,概率密度函数是因变量,要构造合理使得当前数据出现的概率最大. 条件概率:一个事件发生后另一个事件发生的概率.