软件所提出解释个体智能体重要性的新方法
文章来源： | 发布时间：2025-01-09 | 【打印】 【关闭】
近日，软件所天基综合信息系统全国重点实验室与智能博弈重点实验室科研团队合作完成的论文Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning被CCF-A类人工智能顶级学术会议the 39th AAAI Conference on Artificial Intelligence（AAAI-25）接收，第一作者为博士生陈建明。论文提出了一种基于反事实推理的解释方法，用于评估个体智能体在多智能体系统中的重要性，有助于发现多智能体系统的安全风险，提升防御能力，指导多智能体系统的构建。
在多智能体系统中，个体智能体具有一定的自主性和决策能力，并通过通信和协作来完成复杂任务。解释个体智能体行为将有助于更好地理解多智能体系统的运行机制，构建更加高效、可靠和安全的多智能体系统。然而，当前仍缺乏有效方法评估个体智能体的重要性。
针对这一现状，研究团队提出了一种智能体重要性解释方法EMAI。该方法以反事实推理为核心，将单个目标智能体被随机“屏蔽”导致的总体奖励变化作为衡量其重要性的标准。具体来说，EMAI以时间步为基本单位，采用策略网络预估目标智能体价值，对单个目标智能体进行选择性“屏蔽”，进而计算“屏蔽”前后的多智能体系统总体奖励差异。差异越大，则说明“被屏蔽”的个体智能体越重要。为优化“屏蔽”过程，EMAI同时采用中心评论网络（Central Critic Network）学习多智能体系统的总体期望奖励，并结合环境奖励以及稀疏性约束奖励来计算整体实际奖励，根据两者误差进一步去调整目标智能体价值以及“被屏蔽”概率等。
EMAI方法概览图
研究团队将EMAI与基线方法StateMask、VB以及GBA在7项多智能体系统任务上进行了对比实验。结果显示，EMAI提供的解释相比较其他方法，具有最高保真度。此外，研究团队分别在EMAI和其他基线方法提供的解释指导下，对多智能体系统分别进行了攻击实验和策略修补实验。结果表明，EMAI相较StateMask、VB以及GBA，实现了最佳的攻击效果和策略修补效果。
保真度评估结果
对解释方法提供的关键智能体进行攻击的效果
对解释方法提供的关键智能体进行策略修补的效果
