softmax公式交叉熵损失的公式,其中是真实概率,是预测概率softmax的求导是和所有的logit相关的,所以分为两种情况,i=k分母是分子的平方,分子是分子求导乘上分母减去分母的求导乘上分子i不等于k交叉熵的求导对logits 求导就分为相关和不相关所以和真值的编码方式无关(但和编码的求和有关)知识蒸馏有两个,分别对应于教师网络和学生网络的输出i=k时i不等于k时带温度的交叉熵的推导公式为然后上面的公式就是论文里面的然后通过泰勒公式,上式可化简为进一步假设logits的均值是0,即所以,导数等于0的时候,学生网络生成的logit模仿的就是教师网络的logit.