标签
本文主张对大语言模型生成的论辩图进行分层验证，将确定性检查、求解器与大语言模型审查相结合。研究表明，大语言模型审查器能较好地检测结构缺陷，但结果不稳定，容易误拒正确的论辩图，且速度慢于精确检查方法。
作者分享用 Claude Code 做变异测试时遇到的“252/252 全杀其实是假阳性”事故：测试运行器的复制清单漏了数据文件，导致每个变异体都因同一个缺失文件而“死亡”，并给出设置对照变异体、日志点名失败测试等防止假杀的实践建议。
qarunbook 是一款在 Product Hunt 上发布的测试规划工具，让团队和 AI 代理通过 MCP 协同执行结构化测试计划，持续跟踪修复与回归测试，直到问题被验证为通过为止。
AI 语音质检工具 Onepin 推出，可检测 TTS 输出中缩写词、版本号和品牌名的发音错误，直接修复单个词语，而非重新生成整句话。
LangChain 推出了 Engine，它通过读取 traces 和代码仓库来了解你的 Agent 的工作原理，然后针对 Agent 特有的薄弱环节进行测试，例如幻觉和系统提示词违规，并返回一份已验证的问题清单，供你在这些问题影响用户之前加以修复。
文章批判了一篇研究论文，该论文认为编码代理可以替代人类代码审查，强调了人类方面的因素，如困惑、怀疑和注意到缺失元素至关重要，且无法由LLMs复制。
文章探讨了通过限制AI编码代理生成的PR大小来保持审查质量，寻求关于有效阈值和权衡的意见。
本文介绍了InterviewPlayground，一个基于临床医生的评估平台，用于使用模拟患者进行AI辅助精神科接诊。研究发现，与临床医生相比，LLM访谈者能获取更多临床信息项，但会做出更多未经支持的推断。
RespanAI 推出 Prompt Simulations，这是一个通过生成真实用户场景和运行多轮对话来测试 AI 提示的工具，以便在真实用户遇到之前识别失败。
QAgent 通过评分正确性、检测幻觉与真实依据的对比、验证策略遵守情况以及基准测试 RAG 来自动化 AI 代理的质量保证，从而防止不良响应传递给客户。
该文章讨论了在业务项目中如何编写测试以及代码审查的关键点，强调测试是基础并预告后续将讨论关键设计。
本文探讨了将QA整合到RL任务生成迭代过程中的重要性，以提升AI流程和模型评估，并强调了评估设计中直觉的价值。
本文展示了在 NVIDIA RTX Spark 上，NousResearch Hermes 本地 AI 代理如何自主识别和修复网站问题，并在设备上进行 QA 测试。
这篇文章讨论了因人工审查瓶颈而产生的AI生成代码‘垃圾’问题，并指出软件工程必须演进，以系统设计为重点，而不是代码的可读性。
本文介绍了一种本地部署的多智能体AI系统，用于放射学报告结构化和质量保证，放射科医生评估显示其性能良好。
这篇文章提倡使用Replay QA对Web应用程序进行自动化测试，特别是针对AI生成的代码，强调了其易用性以及持续质量保证和根本原因分析等特性。
小米强调其车辆经过了超过1000天和428万公里的真实路测，注重精益求精的品质和全面的道路验证。
DoorDash 分享了他们如何自动化评估 Ask DoorDash AI 助手，实现每天 2,000 次分级会话，并将测试时间从六小时缩短到 20 分钟，同时错误率减半。
关于AI编码代理下一个瓶颈的讨论：验证AI生成的应用是否正确，以及谁应该负责检查输出。