笔式人机交互关键技术研究及应用

1. 成果简介

面向国家重大战略需求中的人机交互关键技术，开展笔式人机交互关键技术研究及应用工作（如图所示），提出笔式人机交互范式，是国际上自然用户界面中为数不多的交互范式之一，设计实现了三维笔身运动模型、手写笔迹结构理解系列算法、笔式智能人机交互技术、笔式人机交互软件平台等关键技术和平台，解决了连续手写中文文本识别、手绘概念图理解、复杂手写文本行提取等多个关键难题，成功推出了笔式电子教学系统、笔式体育训练系统、笔式辅助诊断系统等关键应用，广泛应用于教育、体育、医疗等多个领域，获得了2018年度国家科技进步二等奖、2015年度北京市科学技术一等奖，取得了显著的经济效益和社会效益。

图1 笔式人机交互关键技术研究及应用

2. 技术创新点

该技术的技术创新主要体现在以下方面。

（1）提出的多尺度草图交互技术同主流编辑软件Adobe Encore相比较，在完成视频构建等关键任务中，采用该技术完成时间有显著提高（P<0.001）；

（2）提出的手绘对象的智能操纵技术在识别效果方面，针对字符和定理可以达到92.1%和87.3%的识别率；

（3）提出的手绘概念图理解技术入与国际主流的Stroke-based Manipulation方法相比，我们提出技术的交互效率可以提高40%以上（p<.001）

（4）提出的无模式状态切换方法与目前国际主流方法Tool palette和Xerox PARC的方法Toolglass相比, 在交互效率上与两种方法相比有17%和15%以上的提升（针对标准任务的完成时间分别是2205.36ms, 2678.33 ms, 2511.66 ms）

3. 技术成熟度

该成果当前处于产品化阶段（市场应用）。多项技术已在华为、鸿合等多家企业，北京协和医院等多家医院，北京市教委等多家教育机构应用。

4. 可应用领域

医疗、办公、教育、体育等领域。

5. 联系人

黄进，huangjin@iscas.ac.cn，15600561448