我们对ResNeXt29和ResNet18也有类似的观察(表2第4行)。Distillation我们在CIFAR100和Tiny-ImageNet上进行De-KD。(ResNet50和ResNeXt29)的培训,表现很差。epoch训练后,在CIFAR100上的准确率仅为15.48%,在Tiny-ImageNet上的准确率为9.41%;ResNet50用50个epoch(共200个epoch)训练后,在CIFAR100和Tiny-ImageNet上的准确率分别为45.82%和31.01%。MobileNetV2和ShuffleNetV2可以提升2.27%和1.48%,当一个时代训练ResNet18只有15.48%的准确率(第二行)。对于训练较差的ResNeXt29,准确率为51.94%(第四行),我们发现ResNet18仍然可以提高1.41%,而MobileNetV2提高了3.14%。来解释Re-KD和De-KD的实验结果。zi是神经网络S的logit。Truth标签上的分布是q(k|x)。