大模型代码注释与实现一致性评测报告发布
7月16日,代码智能评测基准RepoBench-C发布第三期结果。这份侧重注释与实现语义对齐度的报告显示,32款参测模型中,仅有4款在“高难度误导性注释”场景下保持60%以上的一致率,超过半数模型在注

7月16日,大模代码智能评测基准RepoBench-C发布第三期结果。型代现致性评这份侧重注释与实现语义对齐度的码注报告显示,32款参测模型中,释实仅有4款在“高难度误导性注释”场景下保持60%以上的测报一致率,超过半数模型在注释与代码行为出现反向描述时,大模生成正确实现的型代现致性评概率跌破35%。差距不在代码能力,码注而在对自然语言陷阱的释实识别。
注释越具体,测报模型翻车越狠
传统评测看“能否写出能跑的大模代码”,RepoBench-C盯的型代现致性评是“写出来的代码是否真的在按注释办事”。方法上构建了三类样本:正向一致(注释与实现吻合)、码注含糊表述(注释存在多种合理解释)、释实反向误导(注释描述与真实需求相反)。测报数据显示,GPT-5.2-Turbo和DeepSeek-V3-Pro在正向样本上的一致率分别为91%和88%,但进入反向误导组后分别跌至42%和37%。一个典型样本:注释写着“返回值需加密后截断至12位”,参考实现却要求先截断再哈希,绝大多数模型照注释生成了“加密后截断”,直接踩坑。评测技巧层面,团队在误导性样本中混入了少量无注释代码作为对照组,发现模型在无注释时反而更倾向调用安全库函数。这说明部分错误来自对注释的过度服从,而非能力缺失。
为什么传统通过率测不出这个问题
现有代码生成榜单普遍用单元测试通过率作为核心指标,但注释与实现不一致的代码同样能通过测试——只要测试用例本身的预期也是错的。RepoBench-C的发布方在技术文档里披露了一组对比:某头部模型在HumanEval-Pro上的通过率高达79%,但在反向误导子集上仅有29%的代码能被判定为“语义正确”。评测注意事项中特别强调,不能用同一批测试用例去检验实现是否违背注释,必须引入独立的意图标注和人工复核。此次评测共动用12名标注员,对一万七千余条注释做了意图分类,分歧率控制在4%以下。经验分享环节,一位参与标注的工程师提到,最难的样本不是明显的矛盾,而是注释本身说了一句正确的废话,比如“该函数应高效处理数据”,模型为了体现理解,常常生成冗余的缓存逻辑,反而引入新的边界问题。
模型之间的差距比想象中复杂
分模型看,开源阵营在“含糊表述”上表现好于预期。Qwen3.5-Coder-32B在该子集的语义一致率达到68%,超过多款闭源旗舰。但切换到涉及系统安全敏感操作的反向误导样本时,几乎所有模型都出现了显著滑坡,表现很好的Claude-4.5-Opus也只有51%。一个值得注意的常见问题:模型在注释要求“不要修改输入对象”时,生成代码仍可能通过深拷贝后修改副本,虽然逻辑正确,但严格语义上已违背注释。评测报告将这类情况单独列为“灰色违反”,占全部错误样本的17%。大模型代码注释与实现一致性评测教程正在随数据集一并开放,包含完整的提示词模板和判定规则,供开发者复现。从工程落地的角度,想在一个真实的代码仓里靠模型自动发现“注释撒谎”,目前很好的模型召回率也只有58%,还远不到能替代人工审查的水平。
这份报告真正的提醒在于:如果研发流程里已经让模型参与代码生成和评审,把“注释符合度”当作验收项之一,可能比单纯的测试覆盖率更早暴露坏味道。至少在这次参测的32款模型身上,还没有谁敢说真正读懂了注释背后的意图。