情感交互与心理健康评估技术

1. 成果简介

面向精神心理健康问题，开展智能化情感感知、计算与交互关键技术研究工作。在情感交互方面，牵头成立ISO/IEC首个情感计算用户界面工作组，牵头负责首个情感计算用户界面系列国际标准的制定，已颁布2项国际标准，1项国家标准，正在制定2项国际标准，获人民日报、科技日报、新浪、搜狐、网易等主流媒体报道。

在情感计算与心理健康干预方面，提出面向虚拟场景复杂交互任务的用户情感挑战计算与建模方法，基于用户多维连续生理信号，实现用户多维感知挑战自动检测；提出结合实时3D建模技术和机器学习技术的面部情绪分类模型，已实际应用于智能座舱系统和交互机器人；在语音情感分析方面，提出了大模型增强的可解释情感分析技术和音视融合噪声鲁棒情感识别技术，可对语音情感进行细粒度的解释性推理，并可以用于包括车舱、会议、广场等复杂噪声环境下的路怒、悲伤等消极情绪检测；在情感生成与呈现方面，研究个性化情感数字人建模技术，提出自动化生成数字人脸部动画的解决方案，通过精确估计混合形状系数来实现从输入人脸图像到虚拟人脸的面部表情动画的生成。在情感心理健康干预方面，提出基于人在回路的在线社区智能情感回复机器人通用框架，加强在线健康社区情感支持力度；开发基于回合式教学的智能手机交互软件，帮助自闭症儿童理解和应对真实生活情感困境；开展面向困境儿童系列情绪行为问题，采集语音、视频等多通道数据，构建相关计算模型进行早期检测、预警和干预。基于上述工作，项目组在CVPR、ACM CHI、IEEE VR、IJHCS、IJHCI、Interspeech等多个人机交互顶级学术会议及期刊发表论文30余篇。

图1 可解释语音情感分析和噪声鲁棒语音情感分类

2. 技术创新点

该技术先进性主要体现在以下五个方面：

（1）牵头制定的“信息技术-情感计算用户界面-模型”（ISO/IEC 30150-1:2022 Information technology—Affective computing user interface(AUI)—Part1: Model）国际标准已经正式发布。此项国际标准于2017年在ISO/IEC JTC1/SC35文化及语言适应性工作组（WG5）立项，2022年6月由国际标准化组织（ISO）发布，是全球关于情感交互的首个国际标准。

（2）面向融合认知、运动和情感需求的虚拟场景复杂交互任务，构建基于外周生理信号的用户感知挑战数据集，首次基于多通道外周生理信号构建机器学习模型，实现对不同类型用户感知挑战（认知、运动、情感、决策）的自动评估与识别。

（3）面向个性化情感表达数字人动态建模与交互，提出自动化生成数字人脸部动画的解决方案，首次通过精确估计混合形状系数来实现从输入人脸图像到虚拟人脸的面部表情动画的快速生成。

（4）面向困境儿童依恋状态评估艰难且可解释性不足问题，通过采用大语言模型开发了可解释多智能体系统，通过集成会话协调智能体进行调度，协同管理语音分析、关系事件提取、行为观察和诊断辅助等多个智能体，首次实现依恋评估流程透明化与结构化。

（5）面向语音情感分析解释难且易受环境噪声影响问题，通过大语言模型推理能力增强语音情感分类过程的细粒度情感描述推理，同时利用前端音频和脸部视频模态融合及环境仿真扩张方法提升模型在复杂噪声环境的情感识别准确度。

3. 技术成熟度

该成果当前处于应用产品化阶段，系列技术已应用在相关领域和医疗机构。

4. 可应用领域

该成果已产出移动终端、平板电脑、动态表情识别系统、自闭症儿童社交情感康复训练系统、困境儿童自动化依恋评估系统等产品，可应用于医院临床检测、居家自测与康复干预等多个关键环节，车载座舱实时检测，已形成国家标准和国家标准多项。

5. 联系人

彭晓兰，xiaolan@iscas.ac.cn，18510067326