智能座舱多通道融合交互平台

1. 成果简介

在 AI 时代的浪潮下，人们对智能交互的需求愈发迫切。然而，现有人机交互系统大多仍基于图形用户界面等传统模式构建，在面对多模态信息处理、大模型、具身交互等新兴技术时，常常难以有效应对，不仅导致自然人机交互、人机协同等复杂任务的执行效率受限，也易使交互软件的开发成本居高不下。

为应对这一挑战，我们创新性地提出了智能座舱多通道融合交互框架，能够将可复用的交互信息处理逻辑与易变的交互任务解耦处理，并以此为基础构建了具备智能交互能力的多功能模拟座舱，形成了智能座舱多通道融合交互平台。该技术支持40路多模态大规模数据的实时获取与处理，集成了近10种语音、手势、视线等新型交互方式和多模态交互方法，支持用户意图识别、操控指令生成和多模态用户界面呈现优化，实现了一套从原始感知数据处理到用户反馈呈现的完整闭环处理过程。

图1 智能座舱多通道融合交互平台组成

图2 智能座舱多通道融合交互平台应用场景

2. 技术创新点

该成果提出了一种新型的多通道融合交互框架基础中间件，可将稳定的交互信息处理与易变的交互流程解耦分离；集成了多种自然人机交互算法，实现了跨平台的交互信息共享与多通道融合处理逻辑复用；构建了一套多通道模拟座舱实验装置，可为载人座舱赋能，并在智能人机交互、人机协同、具身交互等复杂场景中应用。

3. 技术成熟度

该成果当前处于中试阶段（工程化验证）。

4. 可应用领域

该成果可应用于载人智能座舱，如汽车座舱、机载座舱等场景。

5. 联系人

姚乃明，naiming@iscas.ac.cn，13810236087