生成式模型测试与修复工具

1. 成果简介

以机器翻译为例，机器翻译在人们日常的国际交流中发挥着重要作用。然而，当前的机器翻译系统仍然存在诸多不足。为了解决这一问题，研究人员提出了多种机器翻译测试方法。其中，一个有前景的趋势是基于单词替换的方法，即在原始句子中仅替换一个单词，从而形成句子对。然而，在这些方法中，如何精确控制单词替换的影响仍然是一个未解决的重要问题。

为了解决这一问题，我们提出了一种新颖的基于单词替换的方法——CAT。其核心思想是识别具有可控影响的单词替换（称为同构替换）。为此，我们使用基于神经网络的语言模型来编码句子上下文，并设计了一种基于神经网络的算法来评估两个单词在上下文中的语义相似度。根据所得信息判断机器翻译是否存在问题。同时，CAT 还能够在无需对模型进行重新训练的情况下，自动修复所揭示的错误。

本方法包含“测试（Testing）”和“修复（Repair）”两个步骤，以保证对翻译系统的有效测试和最终输出的修复与完善。主要过程如下：

给定一个输入句子 𝑠 以及句子中某个词 𝑤，我们的方法会识别出一组单词（记作 𝑊𝑤），其中每个单词都可以用于替换句子中的 𝑤。 对于每个属于 𝑊𝑤 的单词 𝑤𝑓，我们的方法进一步确保将 𝑤 替换为 𝑤𝑓 在 𝑠 中是同位替换，这种替换只会对 𝑠 产生细微的影响。

（1）测试（Testing）：

生成测试输入（Mutants）：在完成上述阶段（即筛选出最终的替换词集 𝑊𝑤）后，我们会将原始句子中的目标词 𝑤 替换为 𝑊𝑤 中的各个替换词，从而得到一系列“变异”输入（mutants）。

自动化测试（Automatic Testing）：将这些变异输入依次送入目标翻译系统，得到对应的翻译输出。

比较与分析：将变异输入的翻译输出与原始输入的翻译输出进行对比，分析翻译结果是否出现了明显的错误、歧义或其他偏差。一旦发现替换导致了不合理的翻译结果（如关键含义缺失、语义错误等），则将其标记为潜在的翻译漏洞或缺陷。

（2）修复（Repair）：

自动化修复（Automatic Repair）：针对在测试阶段识别出的翻译缺陷，本方法会根据将多个翻译结果集成的方法修复翻译的结果。

2. 技术创新点

该成果技术创新体现在提出了自动化测试与修复生成式模型。

3. 技术成熟度

该成果当前处于小试阶段（实验室验证）。

4. 可应用领域

该成果可应用于机器翻译、程序生成领域。

5. 联系人

孙泽宇，sunzeyu@iscas.ac.cn，15501152993