独立研究：单个LLM会遗漏多模型面板捕获的约一半代码审查缺陷。欢迎反馈并寻求arXiv认可。

tl;dr 我是一名独立研究人员，这是我的第一篇论文。过去几个月里，我在衡量单个LLM是否真的足以独自审查代码，还是需要几个不同的模型。通过观察，我隐约感觉到使用一组混合的LLM进行并行代码审查能带来显著收益。我始终记录每个审查者每次代码审查的详细信息，并标注哪些是真正的发现、哪些不是。这些数据组合为我提供了进行分析所需的素材。简而言之：单个模型遗漏了很多。全文在此：[https://doi.org/10.5281/zenodo.20519584](https://doi.org/10.5281/zenodo.20519584) 我非常希望有人能剖析我的方法，如果这里有人能在arXiv上帮我背书，我正在努力将这篇论文发布到[cs.SE](http://cs.SE)，需要一点帮助。实验设置：一个软件团队将每次代码审查分别交由2到4个不同的LLM处理，然后由人类汇总所有发现，整理出一份真实缺陷清单。我以此作为答案基准，统计每个模型捕获了多少真正被确认的缺陷。共涉及18个代码工件、154个确认缺陷、来自5个提供商的8个模型版本。我的发现： * 没有单一模型对确认缺陷的召回率超过约64%，典型模型大约只能捕获一半。 * 超过一半的缺陷（56.5%）仅被其中一个模型捕获。它们大多不是发现相同的bug（中位Jaccard重叠约0.37）。 * 逐次添加提供商时，覆盖率为：一个提供商33.6%，两个57.1%，三个74.6%，四个88.7%。最大的单次提升来自添加第二个不同提供商的模型。 实用结论：不要依赖单一模型进行代码审查。独立运行两个或三个不同的模型，由人类协调结果并对照实际源文件进行检查，预期任何单个模型的召回率大约在二分之一到三分之二之间。 我希望得到： 1. 对方法和统计指标（召回率及Wilson区间、Jaccard重叠、覆盖率曲线）的反馈。请指出薄弱之处。 2. 一份arXiv背书。作为首次投稿者，我需要一位已发表论文的作者（过去5年内有3篇以上cs.*类论文）为我在cs.SE背书。只需要大约两分钟，您并非为论文担保，只是确认我是真实的人。如果您愿意，请评论或私信，我会私下发送我的代码。我很乐意让您先阅读论文。