我使用Jev来确定在Git差异后哪些测试实际需要运行

Reddit r/AI_Agents 工具

摘要

作者构建了jev-test-impact,这是一个工具,利用Git差异和静态依赖分析与Jev来评分并仅运行相关测试,旨在提高测试工作流中的回归召回率。

我最近一直在尝试Jev,并想测试一个相当简单的想法:大多数编码代理现在可以非常快速地修改仓库,但之后我们仍然在每次更改后运行整个测试套件。所以我构建了jev-test-impact。它的工作流程是:Git差异 👉 静态依赖分析 👉 候选测试文件 👉 Jev为候选评分 👉 仅运行选定的Vitest/Jest文件。重要的是,Jev从不生成命令或任意测试路径。它只能从本地发现的测试中选择。还有一个完全本地化的--static模式,这样我可以进行基准测试:完整套件 vs 静态分析 vs 静态 + Jev。我特别感兴趣的是测量回归召回率,而不是仅仅发布一些荒谬的'减少99%测试'的数字,同时默默地错过错误。我希望能针对更大的现实世界TypeScript仓库测试这个。我也很好奇,什么会让你足够信任这样的工具,以便在CI中使用?
查看原文

相似文章

基于 Jev 的代码审查

Hacker News Top

Jev-Code-Reviewer 是一款 GitHub 扩展和命令行工具,它通过将更改分类为优先级级别并提供代码差异的自然语言解释,来帮助开发者审查来自 AI 代理的拉取请求。

Jevotron:在命令行中实现多种 Jev 集成

Hacker News Top

Jevotron 是一款命令行工具,可为 CSV、YAML、JSON 和 OBO 等文件提供多种 Jev 集成,实现一次性异常检测,将评估结果缓存到 SQLite 中,并导出带有可见概率和证据的审查报告。

Jev vs. Kev:开源Jev替代方案并排测试

Reddit r/LocalLLaMA

本文比较了TypeSafe的Jev模型与开源Kev替代方案,在一个新的数据集上测试了它们的准确性、令牌使用量和速度,以避免数据泄漏,发现性能相似,但实现上有差异。