智能设备持续测试与验证技术

1. 成果简介

智能设备持续测试与验证技术通过对智能算法、智能系统部件、智能群体鲁棒性、可解释性、安全性等多维度测试与评估，满足了智能设备的标准化、系统化测试要求，能够显著提升测试的充分性和有效性。

（1）智能算法测评，针对不同的数据模态、任务类型，提供算法基础性能测试、算法鲁棒性测试、算法安全性测试、算法可解释性测试、算法覆盖率测试、算法效率测试等多种类型测试服务。

（2）智能系统部件测评，开展智能系统部件的软件在环与硬件在环测试，可根据智能系统部件的特性与测试需求，自由自定义编排测试流程，将不同的测试步骤、场景元素、参数配置以及评估指标进行组合，开展全方位、多层次的测试与评估。

（3）智能群体测评，从协同能力、自主能力和学习能力等维度构建智能表现评估指标，建立层次化评估指标体系，采用回归预测方法评估集群系统在不确定性因素下的鲁棒性，深入挖掘集群系统在对抗环境下的测试数据，从而提高集群系统的适应性和协同作战能力。

2. 技术创新点

该成果技术创新主要体现在以下方面。

（1）基于智能算法测评领域标准（《人工智能深度学习算法评估》（GB/T 45225-2025）），创新构建智能算法测评流程与多维度测评体系，满足智能算法的标准化、系统化测试要求，构建智能算法综合质量评估方法，解决智能算法多指标评估难题。

（2）基于参数自适应采样的仿真对抗测试场景生成技术。研究基于参数自适应的仿真对抗测试场景生成技术，提出了基于模拟退火的场景自适应采样技术、层次化和结构化场景描述方法。

（3）关键场景生成技术。构建了场景关键性度量评估驱动的多代理共享目标回报奖励机制，在时空变化状态下生成对抗智能体的行为策略，用于关键场景生成。

（4）基于因果效应估计的贡献率分析技术。针对集群数据分析不充分、机理难以挖掘等问题，通过引入因果推断方法，通过分析节点的贡献率，揭示集群在面对环境变化和任务需求时的适应性和稳定性，进而为优化集群系统的设计和任务分配提供科学依据。

3. 技术成熟度

该成果当前处于产品化阶段（市场应用），产品已经在多个行业的软件测评中心和研发机构使用。

4. 可应用领域

该成果可应用于以下领域。

（1）面向智能算法研发机构。聚焦智能设备算法软件的训练需求，为客户提供从训练数据、模型算力、算法安全等方面的可持续验证能力。

（2）面向智能算法测试机构（含第三方）。以最新人工智能国家标准等为流程与技术指导，帮助客户构建具备最新资质体系的智能安全测评能力。

5. 联系人

孟令中，lingzhong@iscas.ac.cn，18810229710