KD和LSR之间的关系。在ImageNet上实现了0.48%的改进。CIFAR10、CIFAR100和Tiny-ImageNet数据集上进行了Re-KD和De-KD实验。我们采用5层普通CNN、MobilenetV2[15]和ShufflenetV2[10]作为学生模型,ResNet18、ResNet50[6]、DenseNet121[8]和ResNeXt29-8×64d作为教师模型。尤其是教师模型ResNet18和ResNet50。