机密人工智能安全推理平台

1. 成果简介

机密人工智能安全推理平台是使用机密计算技术对LLM推理过程进行保护的系统级安全平台，基于异构TEE和TPM/TCM安全防护机制，为LLM应用场景各个利益相关方（数据所有者、模型所有者、用户）的敏感数据、提示词、模型IP以及LLM推理运行环境提供机密性与完整性保护。

该系统基于机密虚拟机（CVM）和机密容器进行构建，系统架构与核心流程如下图所示：

通过CVM远程证明保护LLM推理各个参与方节点运行环境的真实性与完整性，并基于硬件TEE的机密连接为节点间交互提示词与应答响应提供安全通道。CVM节点镜像、LLM模型文件、LLM数据的任何篡改都会导致机密连接失败，能有效防止针对LLM的各种攻击（如模型窃取、提示词隐私泄露、微调数据投毒、模型运行环境篡改等）。

2. 技术创新点

该平台采用机密计算技术，具备硬件级加固的机密性与完整性安全优势，是机密计算在LLM领域的创新应用解决方案。主要创新点包含：

（1）针对LLM推理保护的软硬件协同安全防护体系：基于TEE和机密TPM/TCM实现了CVM多种安全防护机制，能够有效的防止机密固件和镜像篡改、固件版本回滚、SEV-Step/HECKLER中断、 CVM敏感信息窃取、恶意程序软件注入等攻击，为LLM推理过程提供运行时安全保护；

（2）建立多信任根场景下的统一证明服务框架体系（包括SGX、SEV、CSV、TZ、TPM等），支持大规模、异构机密计算集群节点的静态/动态度量、证明和监控，能有效支撑机密AI节点的安全防护、机密互联、可信状态监控；

（3）基于硬件TEE的远程证明与机密互联：LLM推理的CVM节点受到远程证明保护；CVM节点间基于硬件TEE构建机密互联通道，相比传统TLS通信，绑定了TEE硬件与节点完整性，安全性更高；

（4）提示词与LLM响应保护：提示词与LLM响应在CVM内使用，具备运行时安全；提示词与LLM响应通过机密互联通道在CVM节点间交互，具备传输时安全；

（5）模型IP与私有数据保护：LLM base模型、微调私有数据、微调过程以及微调后新模型都受到CVM保护；

（6）用户隐私保护：CVM内LLM推理实现“无状态计算”，不会存储用户的隐私信息；可以为不同用户分配不同的CVM与LLM推理实例，防止恶意用户通过LLM获取其它用户的隐私信息。

3. 技术成熟度

该成果当前处于中试阶段（工程化验证）。

4. 可应用领域

该系统可应用于对安全性要求较高的数据中心、云计算推理、LLM安全部署与微调等应用场景，特别是多方基于大模型进行安全数据计算的协作场景，可以保护各方的核心数据与模型IP的安全与隐私。

5. 联系人

秦宇，qinyu@iscas.ac.cn，18612273821