注意到这里是每一类有一个方程,共有K
个.因为有∑pj
(x
)=1的约束,这K
个方程有一个是冗余的,我们可以约束fK
(x
)=0,但是为了对称性,我们往往约束∑fj
(x
)=0.负二项分布对数似然函数可以推广成K
-1类多项分布的对数似然函数,并取负值作为损失函数:
最小化以上损失函数可以得到多分类问题的拟合可加模型的Boosting算法LogitBoost(K-Class)(Friedman et al.,2000):
(1)初始权重ωij
=1/n
(i
=1,...,n
;j
=1,...,K
).对∀j
有Fj
(x
)=0;pj
=1/K
.
(2)对于m
=1,2,...,M
1)对于j
=1,...,K
①计算