智能演进训练技术与平台

1. 成果简介

基于分布式并行训练架构的智能演进技术，通过预训练、演进和迁移的三阶段训练，实现在仿真下的智能体模型的任务学习能力的提升，通过AI模型管理、敏捷部署与复杂决策支持，为重大行业的智能软件研制提供标准化方法，提升软件的智能化水平和自主适应能力，全面实现智能软件的价值流交付。

依托于深度强化学习算法，预训练阶段通过规则以及专家算法采集的大量专家数据进行智能体先验知识的积累，在演进阶段进行博弈对抗，通过构建教练智能体、陪练智能体来辅助主智能体的对抗训练。迁移阶段通过构造自监督场景特征提取自编码器使策略适应多样的环境。

该技术主要针对智能体模型参数空间大，需要进行大量的仿真场景数据采样与交互的训练场景。克服了传统单节点训练存在的训练速度慢、时间成本高的问题，采用分布式资源调度、分布式参数训练更新的两个层面来解决智能体训练加速的问题，提高基于强化学习的智能演进技术的学习能力和训练效率。

通过云原生架构、边缘计算和MLOps实现智能软件的快速交付和在线优化，在智能制造、自动驾驶等领域提升部署效率，赋能智能软件在复杂环境下进行计算最优策略，并快速执行，提高智能系统的自适应能力，实现高阶任务的智能优化，提高智能软件的决策智能化水平。

2. 技术创新点

该成果技术创新主要体现在以下方面。

（1）分布式并行训练架构。采用分布式并行训练架构，将训练任务分解到多个计算节点上同时进行。采用了逻辑中控和分层控制的设计，通过高效的通信机制协调各节点间的数据交互，大幅缩短训练时间，提高训练效率，使得在大规模复杂任务上的训练成为可能，并且能够在有限的时间内完成更大量的训练迭代。

（2）基于博弈对抗的智能演进技术。改进传统强化学习博弈训练时策略难以收敛的问题，提出了基于优先级的虚拟博弈训练算法和联盟训练框架。教练体根据胜率选择对手，并对陪练智能体进行优化，以发现主智能体的弱点，并帮助其优化。该算法通过智能体之间的博弈，使得训练过程更为稳定和高效。

3. 技术成熟度

该成果当前处于中试阶段（工程化验证）。

4. 可应用领域

该成果可以应用于以下场景。

（1）具身智能领域：可用于训练大规模服务机器人、工业机器人等，使其能够在复杂多变的现实环境中，如家庭服务场景、工业生产车间，实现自主导航、任务执行以及与人类的自然交互，提升智能化水平与工作效率。

（2）自动驾驶领域：帮助自动驾驶车辆在不同路况、天气条件及交通状况下，通过强化学习不断优化驾驶决策，如加速、减速、转弯等操作。基于与不同车辆智能体之间进行的博弈对抗，提高自动驾驶的安全性与可靠性，助力实现更高级别的自动驾驶功能。

5. 联系人

孟令中，18810229710，lingzhong@iscas.ac.cn