在论文"Greedy Function Approximation: A Gradient Boosting Machine"中Friedman给出了一个回归树节点分割的准则(公式(35)),即Friedman mse准则:
其中,  和  分别是左子节点和右子节点中样本目标y的加权均值(在GBDT中就是负梯度的均值).网上很难找到此公式的推导,无奈自己尝试进行简单地推导,不一定正确,如有错误,请大佬指出.
假设在某一树节点中,所有样本的集合为  ,其分裂的左子节点集合为  ,右子节点集合为  (  ),对应的样本权重为  ,定义  ,,,有 .定义  .考虑如下增益Gate(with respect to ,  ,  and ):
为了使增益G最大,求导可解得,  ,,代入回上式可得上式只与Friedman mse分裂准则相差常数因子 ,即  .