软件所天基综合信息系统重点实验室研究团队的论文“Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective”近日被人工智能领域顶级学术会议AAAI（Association for the Advancement of Artificial Intelligence）接收，第一作者为博士生李江梦、张雅楠。论文首次从因果理论的角度重新审视了小样本目标检测任务的知识蒸馏学习范式，并基于建立的结构因果模型，提出知识蒸馏方法“分离和重组”（D&R），以对相应的结构因果模型进行条件因果干预，在小样本目标检测任务上产生显著的性能提升。 

　　小样本学习模型基于有限的标注数据学习表征，在图像分类、目标检测等多种任务中被广泛应用。然而，小样本目标检测方法存在一个固有的缺陷，即有限的训练数据使得模型不能充分地探索语义信息。为了解决这个问题，研究团队将知识蒸馏引入到小样本目标检测学习范式中。实验发现，在知识蒸馏的过程中，作为学生模型的小样本目标检测模型不仅会学到教师模型的知识来获取语义信息，还可能学到教师模型的经验错误而导致性能下降。研究团队希望解决这个问题，以促进小样本学习模型利用外部知识的能力。 

　　研究团队建立了结构因果模型。通过理论分析得到，输入图像和预测结果之间的因果效应需要以特定任务的分类知识为条件进行量化。此时，量化的结果可能由于外部知识而出现偏差。为此，研究团队提出使用后门调整来消除混杂因子的干扰。具体来说，研究团队基于基准方法的主分支引入了一个辅助分支。从参数固定的预训练文本编码器中获得了特定维度的嵌入类别向量，并使用线性投影层将视觉特征转化为相同维度的向量。在训练基类时，以端到端的方式训练特征提取器和线性投影层。在新类上进行微调时，引入了基于结构因果图提出的损失函数。损失函数通过“解构”经典知识蒸馏损失函数并“重组”非混杂项得到。 

　　该方法与多种不同的小样本目标检测算法在COCO和VOC两个重要数据集上进行了对比，结果表明，与基准方法相比，新建模型在小样本数据集VOC上的目标检测性能平均提升了1.58%（以AP50作为评价指标），在小样本数据集COCO上的目标检测性能平均提升了0.68%（以mAP作为评价指标）。团队还通过消融实验证明了所提出方法的合理性。 

D&R框架图

论文地址：https://arxiv.org/abs/2208.12681

模型地址：https://github.com/ZYN-1101/DandR