面向神经系统疾病预警的智能人机交互关键技术

1. 成果简介

面向国家重大战略需求中的人机交互关键技术，开展智能人机交互关键技术研究工作，面向神经系统疾病的早期预警开展应用研究，在交互信号感知技术、神经功能解析方法和多通道神经功能辅助诊断等方面取得了代表性的成果，设计实现了基于笔式、智能实物、语音、步态、眼动等多模态交互技术的神经系统疾病的早期预警与辅助诊断系列技术，为神经功能评价提供预警筛查、临床诊断、预后评估、康复监测以及长程跟踪等关键环节提供技术支撑，解决了传统神经功能评价方法存在的不足，为神经医学检测提供了定量化、多模态和非任务态监测的支持。

系列技术支撑孵化了北京中科睿医信息科技有限公司，推出的多模态自然人机交互神经医学辅助诊断系统，在协和医院、湘雅医院、天津医科大学总医院、广州第一人民医院、大连第三人民医院等国内大型三甲医院得到应用，获卫生部等相关部门充分认可，在国家农村心脑血管疾病危险因素调查、缺血性脑卒中长程随访等重大任务中发挥重要作用，相关成果获得了2018年度国家科技进步二等奖、2015年度北京市科学技术一等奖。目前，该系统与系列神经功能检测产品累计使用已达61392人次，与协和医院等单位一同公开发布了中国人群神经功能正常值数据库：NeuroFunctionDataset-CN，这也是全国神经科学领域首次确立运动、认知两项核心神经功能的定量参数正常值范围。

2. 技术创新点

该技术先进性主要体现在以下五个方面：

（1）面向神经系统疾病预警的笔式交互系列技术实现了触摸位置、压力、倾角、笔尖轨迹等关键手部运动参数捕捉，实现了基于统一处理算法的简单笔画集构建与通用运笔特征提取，是利用笔交互技术在一般绘图任务中实现自动识别神经系统疾病的首个尝试。

（2）面向神经系统疾病预警的姿态交互系列技术实现了基于深度信息的人体姿态捕捉与定量化参数自动提取，对受试者的全身三维姿态与动作进行电子化还原与记录，形成了一套能够有效描述人体运动功能的参数体系。

（3）面向神经系统疾病预警的眼动交互系列技术，采用近眼采集以规避头部代偿干扰，构建了基于眼动交互的眼跳类、注视类、追踪类、辐辏类、自由眼动、图形测试等十余种眼动测试范式，为脑健康状况评估、认知功能快速检查等多个应用场景提供了基于临床经验与询证的测试范式集。

（4）面向神经系统疾病预警的实物交互系列技术将现有传感器技术与交互实物相结合，采用非任务式的设计，采集用户在自然状态下使用生活用品的数据，避免对用户行为心理产生干扰。

（5）面向神经系统疾病预警的语音交互系列技术利用自监督学习预训练模型分别提取构音障碍患者语音和视觉双模态特征，并统一特征参数空间，通过特征级融合和后端融合实现构音障碍严重程度分类分级。

3. 技术成熟度

该成果当前处于产品化阶段，系列技术已形成多项产品，支撑孵化了1家科技公司，共计获得4项医疗器械注册证。

4. 可应用领域

该成果已产出移动终端、平板电脑、智能交互实物、虚拟现实头盔等产品，医疗领域医院临床检测、居家自测与康复干预等多个关键环节。

5. 联系人

黄进，huangjin@iscas.ac.cn，15600561448