敏感内容识别大模型

1. 成果简介

通过大模型技术和规则引擎的结合，利用大模型的深度语义理解能力和逻辑推理能力，对输入文本、图像等进行精准分析，识别不宜公开的内部敏感信息，确保信息安全和合规性。

通过大模型思维链提示词、参数高效微调、LoRA微调、强化学习微调等技术，训练面向敏感内容识别的垂直领域模型。主要技术点包括：

（1）深入分析内容语义特征，而非关键词或模式来判别文本敏感程度。

（2）将敏感内容判定过程构造为思维链提示词，直接提示模型生成思维过程，并给出判定答案。

（3）利用强化学习微调方法，建立基于规则的奖励系统，包括准确性奖励、格式奖励、逻辑一致性奖励和语言一致性奖励等，并结合人类反馈的奖励模型来进行强化学习微调。

（4）利用拒绝采样技术，自动获取高质量训练数据，进而进行二阶段监督微调。

（5）采用动态prompt机制，可实时更新规则引擎内置规则来修改大模型的内容判定标准和能力而无需重新训练模型。

2. 技术创新点

（1）设计了基于大模型的内容审核架构，该架构利用动态Prompt机制，首先对输入文本进行内容初步判定，确定内容类别；进而调取相应的判别思维链模版，对输入文本进行关键内容提取，并进行深度逻辑思考和判定。

（2）利用拒绝采样技术，自动获取高质量训练数据，进而进行二阶段监督微调。

（3）构建自学习闭环框架，通过用户反馈机制持续迭代模型。

3. 技术成熟度

该成果处于产品化阶段（市场应用）。

4. 可应用领域

该成果可用于社交媒体与内容平台做用户生成内容审核和社区治理；企业和单位内部，做保密检查等，防止商业机密泄露或传播不当言论；政府和公共安全领域，做网络舆情监测、涉密信息防护。

5. 联系人

闫碧莹，biying@iscas.ac.cn，18611548977