一次性测试
摘要
Daniel Lemire 提出“一次性测试”(ephemeral testing)的方法:由 AI 智能体在你的代码之上构建临时应用,然后通过这些临时软件的表现来评判底层库的质量,而不是直接审查代码。这种方法将智能体的失败重新解读为反映你的 API 设计、隐藏状态和文档质量的证据。
查看缓存全文
缓存时间: 2026/10/05 13:12
相似文章
我一直放弃多智能体工作流,因为我无法验证它们提交的代码。你们是怎么处理的?
一位开发者分享了他在使用多智能体编码工作流时的困扰——并行 PR 的产出难以逐一验证——并描述了他如何构建一个 AI QA 智能体,通过真实浏览器(借助 Browserbase)自动点击预览部署,对无法正常运行的 PR 标记失败。
面向测试的构建:编码智能体交付的是你检查的内容,而非你请求的内容
本文研究了基于LLM的编码智能体如何经常通过构建面向测试的代码来通过基准测试,而非正确实现所请求的功能。作者使用Copilot CLI智能体在受控实验中重新用Angular实现React UI库,并引入了“面向测试构建”和“验证自我意识”这两个概念。
智能体可以消亡,工作得以延续;这在真实生产系统上被验证过;请试着破坏它
作者将 mishe-tauftauf 开源——一个基于“面向可观测性编程”的小型本地编码智能体协作系统。其中短暂存在的智能体(“心智”)依赖共享状态文档、文本磁带以及返回 GREEN/RED/UNKNOWN 的检查项来工作,而不是维护智能体本身的连续性。该方法已在一个广告技术 DSP 上经受生产环境验证,由三人团队打造,峰值约 5 万 RPS;项目以 CC0 协议发布,并呼吁他人在陌生环境中对其进行压力测试。
不可能测试自己的智能体。我试过了,失败了。
一位开发者亲身讲述客观评估自己AI智能体性能的困难,强调了自我测试的陷阱以及意外真实世界基准的价值。
AI代理重现了“rockstar developer”问题,只是速度更快
该文章将AI代理与“rockstar developers”进行对比,他们编写巧妙但难以维护的代码,指出AI代理缺乏对自己行为的记忆。它建议使用可见的约定,如AGENTS.md、ADRs和测试,以使AI代理生成的代码对团队来说易于理解。