使用开源模型构建了价格仅为 CodeRabbit 六分之一的替代方案
摘要
使用开源模型构建了比 CodeRabbit 更便宜的替代方案,以六分之一的成本实现了相似或更好的 PR 审查准确性,并具备自动修复和基于提示的 bug 修复等功能。
据称,CodeRabbit 使用 GPT + Claude 模型来审查 PR,每月费用为 60 美元。于是,我找了一个朋友,做了一个替代方案,功能相同,但使用开源模型作为后端(因为推理成本便宜得多)。我们用一个包含 10 个故意植入的问题的 PR 进行了测试。
https://preview.redd.it/3j9qt4mruh1h1.png?width=846&format=png&auto=webp&s=3e9fa3559b315d09b8c65e2324165e412ac325b4
https://preview.redd.it/2c9qb4mruh1h1.png?width=842&format=png&auto=webp&s=7d0bf9296639ef5bedd915869043755b5610a73a
结果呢?~检测出全部 10/10 的问题 ~更快更准确 ~具备自动修复能力 ~几乎拥有 CodeRabbit 提供的所有功能,包括通过 AI 智能体提示修复 bug ~以六分之一的价格实现几乎无限的审查
这让我思考:中国模型真的那么领先且开源,还是我们真的仅仅创建了比价值 5.5 亿美元的公司更好的审查架构?
完整 PR:https://github.com/testingPrix/TestRepo/pull/2
我们甚至对 11,000 行的 PR 进行了测试,PrixAI 的准确性惊人。真诚希望得到社区的反馈、批评或建议。我们的 Cactopus 可能会全力以赴对抗那只大兔子。
相似文章
构建了一个AI PR审核工作流,可生成实际修复PR而不仅仅是评论
作者构建了一个AI驱动的PR审核工作流,可生成实际修复PR而不仅仅是评论,声称比CodeRabbit便宜6倍,且在处理大型PR时更准确。
使用 o3、o4-mini 和 GPT-4.1 更快地交付代码
CodeRabbit 推出了基于 OpenAI 的 o3、o4-mini 和 GPT-4.1 模型的增强代码审查功能,使开发者能够提升 4 倍交付速度并减少 50% 的生产 bug。该工具现已包含 VS Code 集成,并使用多步推理来捕捉代码库中的 bug、重构问题和架构缺陷。
让便宜模型通宵修真实 bug,结果它的大多数 PR 没通过评审
作者描述了一次通宵修 bug 的实验:便宜的模型(DeepSeek)提交了 14 个 PR,但经过更强的模型(GPT-6.1 Sol)评审后只有 6 个存活下来,失败原因包括回归问题、无效测试和安全绕过。随后作者调整了流水线:由强模型负责设计和评审,便宜模型只负责实现。
我想看看一个小型DIY审查团队(bug猎手、守护者、清扫者)能有多接近成熟的审查产品。在一个包含50个真实PR的公开基准测试中,它击败了Cursor Bugbot和CodeRabbit,而诀窍并不在于角色本身。
一个使用角色(bug猎手、守护者、清扫者)的小型DIY审查团队在50个PR的基准测试中取得了比Cursor Bugbot和CodeRabbit更高的性能,证明了基于角色的审查策略的有效性。
使用Cursor的Bugbot实现更快的代码审查(3分钟阅读)
Cursor的Bugbot代码审查工具现速度提升超过3倍,成本降低22%,发现错误数量增加10%,大多数审查运行在3分钟内完成。此次更新还新增了在推送前运行审查以及仅审查新更改等功能。