推导: ,其对  求导得到最优闭式解.涉及到矩阵求导的方法,下面给一个简单的矩阵微分公式:
我们需要的是对矩阵的一阶偏导数而不是一阶微分,所以取转置后得到结果,令其为零即可求解闭式解(当然我们需要对  是否可逆做一个分类讨论,略,注意  才表示归一化后的协方差矩阵).
(当然,也可以用南瓜书上的方法分解开来,本质上是一样的,南瓜书核心公式 )广义线性模型对数线性回归是广义线性模型的一种,  ,实际上起到了非线性函数映射的作用.对数几率回归任务:分类classification
形式:  ,等价于形式  ,如果把  的含义视为样本为正例的可能性,那么两者的比值就是几率odds,取对数得到对数几率(logits),以0为分界,当对数几率大于零时,为正例,反之为负例.这样的话可重写为  .
最优解推导(极大似然法maximum likelihood method):  ,目的是令每个样本属于其真实标记的概率最大.化简得另:看到书上用的牛顿法举例,最近正好看到3b1b的视频,讲牛顿分形的,对理解神经网络也蛮受启发的,值得一看.