关于这个sigmoid函数的的样子大家都见过不少了,但是关于逻辑回归的损失函数样式的定义,或多或少我们可能都见过 以下两种:
那么这两种到底有什么区别呢?哪个对呢?都是怎么得来的呢?为什么会有这两种形式?
两个都对.
两个的区别其实是根据的取值区间不同得到的.其中:
简单解释下,这个形式的y条件概率函数其实也就是伯努利分布的样子.
其负对似然函数:
简单解释下,因为 时和时概率的计算唯一差别也就时正负号,而y标签值又正好是+1或-1, 所以y的条件概率公式就写成上面形式了. 那么至此Loss2也就呼之欲出了:
好好好,你说的都对.那为什么会有这两种形式?搞数学的炫耀智商么?我觉得应该是.数学的美感不正在其中么~:joy: 不过认真的说有以下原因:
二者理论基础不一样,Loss1是根据Bernoulli probability model来玩的, Loss2有点长的和SVM很像.
实际计算考虑,,据此 能更好的计算偏导数,
至此,基本弄清二者的关系.