把统计学习方法十大算法精简了一些手写了出来(虽然我觉得书本身已经很精简了) 现在只有算法本身的流程,以后如果有什么新的理解再补充 字太丑,自己都看不下去,发上来纯粹做个备份
GBDT写在了提升方法里,另外可以扩展看看随机森林,是一个自举的方法,利用了决策树.
用EM算法做高斯混合模型的推断时,需要推断的参数包括k个高斯模型的均值,方差,比例系数,隐变量代表第j个观测样本来自第k个高斯模型的可能,叫做responsibility,而\(n_k\)则是对第k个高斯模型在所有样本上的responsibility的总和,除以\(N\)即以其均值来更新GMM比例系数,用responsibility加权样本来更新均值,方差同理.
在更新完参数之后,再用这些参数重新计算responsibility,重新计算E步骤,再继续做M步骤,从而完成迭代.