面向具身智能的手势与多通道交互技术与系统

1. 成果简介

面向具身智能的手势与多通道交互技术与系统围绕具身智能场景中的手势和多通道交互需求，完成了面向挑战场景下的手物姿态跟踪技术、机械手灵巧操作控制技术以及兼容多场景应用的多通道融合交互方法与系统的研发。

（1）面向挑战场景下的人手-物体姿态跟踪技术，实现对手物姿态、形状的准确感知，支持用户交互意图理解。突破多类相机采集图像（如彩色相机、深度相机、事件相机等）的三维人手姿态跟踪和形状恢复技术，克服强光、闪光和快速运动等挑战的影响，提升人手姿态跟踪技术鲁棒性；提出基于通用语义预训练模型的零样本类别级物体姿态预测，克服传统方法中对物体类别的约束，实现对未见过类别物体的高精度姿态估计。

（2）研制基于语义任务引导的机械手灵巧操作控制技术。围绕机械手灵巧操作生成中存在的泛化性差、缺少语义理解等问题，结合视觉语言模型，实现跨具身机械手的语义任务引导灵巧操作控制技术，具有场景泛化性好、可适配主流机械手等优点。

（3）研发兼容多场景应用的多通道融合交互方法与系统。研发工程化好的手势、语音、眼动、触控等多通道交互融合软件和系统，支持主流软硬件和国产化软硬件，并完成多场景落地应用。研究用户自定义手势的识别技术，提供个性化的手势定义方法和识别技术，可明显提升用户的交互效率；研发单/多通道交互方法，具有支持交互任务多样化和交互指令识别稳定性好的优势；研发兼容多场景应用（大屏、座舱、AR/VR等）的多模态交互系统，突破环境光照变化、嘈杂环境、振动环境等挑战场景下的可信多通道交互融合软件和系统。

2. 技术创新点

突破多类相机采集图像（如彩色相机、深度相机、事件相机等）的三维人手姿态跟踪和形状恢复技术，克服强光、闪光和快速运动等挑战的影响；研发兼容多场景应用的多通道融合交互方法与系统，将手势信息与语音、眼动等交互信息融合，提升了多通道融合交互的稳定性；基于大语言模型，研制基于语义任务引导的机械手灵巧操作控制技术，可以感知场景中的语义信息，实现跨机械手的语义引导的机械手操作任务规划。部分成果获2018年中国计算机学会技术发明一等奖。

3. 技术成熟度

该成果当前处于中试阶段（工程化验证）。

（1）基于手势的智慧大屏交互系统成功应用于北京冬奥会，平均每日浏览次数超过3000次，访问IP地址来自中、美、英、日等多个国家，其中国内覆盖所有省份或直辖市、共计111个城市。

（2）多模态车载座舱交互系统已在多家大型汽车厂商成功应用验证。

4. 可应用领域

该成果可应用于机器人、航天航空、汽车行业、虚拟现实、制造业、医疗、农业等行业和领域。

5. 联系人

邓小明，xiaoming@iscas.ac.cn，13717981135