code-testing

Meta 分享其 Catching JiTTests 方案在生产环境大规模部署的成果：利用 LLM 自动生成会失败的即时测试，在代码合入前捕获传统测试和 LLM 代码审查难以发现的 bug，并配套发布了详细论文。

论文提出了 TestPrism 基准，包含 300 个测试任务和 3000 个候选实现，表明单一参考的评估方式会高估测试质量（联合成功率仅达到 28%，而单一参考成功率为 59.67%）。同时提出了 TestHelix，通过异构合成、同伴交叉验证和递归自我改进，将联合成功率提升了 8.67 至 9.00 个百分点。

作者利用自己的git历史记录构建了一个自定义基准测试框架，用于评估本地AI模型在代码任务中的表现。早期测试结果显示，Flash Next和Swift等模型的性能表现令人惊讶。

Perplexity AI 正在使用 Codex 中的 GPT-6 Astra 进行代码的端到端测试，开发者们构建测试框架并模拟 API 响应以进行集成测试。

Perplexity 使用 GPT-6 Astra 自动化端到端系统管理，包括撰写通信和监控生产，减少频繁人工检查的需求。