COFT：一种提升小型大语言模型代码生成能力的功能级思维链策略

1. 成果简介

COFT是一种创新的功能级思维链策略，专门提升小型大语言模型（<10B）在代码生成任务中的表现。传统的思维链（CoT）提示方法在自然语言处理（NLP）任务中取得了显著成功，但在代码生成领域，尤其是对于小型模型，其效果往往有限。COFT方法通过引导大模型聚焦于代码生成过程中的功能性触发词（如函数定义def、循环结构for等），去除自然语言中的冗余和无关的语法成分，显著提升了小型模型在zero-shot学习场景中的表现。通过与指令微调（Instruction Tuning）相结合，COFT方法进一步增强了小型LLM的代码生成能力，使其能够更准确地理解并生成符合要求的代码。实验表明，COFT在多个基准测试上大幅提高了代码生成质量，在HumanEval基准测试中最多提高了35.3%，并在复杂的编程任务中超过了传统CoT方法。相关工作已被ICPC2025（CCF B会议）录用。

2. 技术创新点

该成果的技术创新体现在以下方面。

（1）创新的功能级思维链设计。COFT首次将代码行级关键词的链式组合作为表征，引导大模型聚焦每个关键步骤的核心功能词。这避免了传统CoT中冗余的语法成分，减少了与代码逻辑无关的噪声，使得模型能够更聚焦于代码的核心功能，显著提升小型模型的代码生成质量。

（2）自动化扩展数据集。提出了一种高效的自动化扩展数据集的方法，通过利用大语言模型指导小模型生成数据，自动扩展COFT种子样本到数万个样本。

（3）指令微调结合。COFT与指令微调技术结合，进一步优化了小型LLM的学习效果。指令微调可以帮助模型在生成代码时更好地理解任务要求，显著提升小型LLM在零-shot学习下的代码生成能力。

（4）高度可扩展性。COFT不仅能够适应现有领域任务，通过制作特定领域COFT数据集，COFT可以被应用到更广泛的代码生成任务中。

3. 技术成熟度

该成果当前处于中试阶段（工程化验证）。

4. 可应用领域

COFT在代码自动生成、代码补全、代码优化等领域具有广泛的应用前景。通过提升小型模型在代码生成任务中的表现，COFT能够为软件开发人员提供更高效的自动化工具，减少编程时间并提高代码质量，特别是在开发周期较短的小型应用程序和工具时，能够显著提高开发效率。

5. 联系人

李维佳，liweijia221@mails.ucas.ac.cn，15373961279