一次性测试

Lobsters Hottest 新闻

摘要

Daniel Lemire 提出“一次性测试”(ephemeral testing)的方法:由 AI 智能体在你的代码之上构建临时应用,然后通过这些临时软件的表现来评判底层库的质量,而不是直接审查代码。这种方法将智能体的失败重新解读为反映你的 API 设计、隐藏状态和文档质量的证据。

<p><a href="https://lobste.rs/s/ymannf/ephemeral_testing">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/10/05 13:12

# 一次性测试(Ephemeral testing) 来源:https://lemire.me/blog/2026/10/05/ephemeral-testing/ 我们有许多确保软件质量的方法。单元测试。模糊测试。集成测试。诸如此类。 我想提出一种以前不可能的方法:一次性测试。(Ephemeral 是一个花哨的词,意思是"用完即弃"或"临时的"。) 你编写代码。你构建软件组件。或者由 AI agent 来代劳,这并不重要。 然后你让一个 AI agent 在其之上构建:一个应用程序、另一层,甚至多层。让它测试自己构建的东西。你不直接评估原始工作,而是评估在其之上构建的软件有多好。 这是一种集成测试的形式。不同之处在于,上层的软件完全是临时的。用完之后你就把它扔掉。 一个 API 干净、不变量稳定、错误信息有用的库,能让 agent 快速产出可用的东西。一个存在隐藏状态、令人意外的默认值或文档不完整的库,则会产生一堆补丁和失败。这些失败是关于你代码的证据,而不是关于 agent 的。 你可以重复这个过程。不同的 agent、不同的任务,同一个基础。 实际上,你不再需要在构建核心的同时试图预判上层可能需要什么,而是通过实际构建来模拟其他上层。 当然,你可以说有了 AI,随时可以重建所有东西。但那并不现实。你需要某种稳定性。 我一直将这个技巧应用于各种项目。当考虑一个新功能时,我会让 AI 根据我正在做的东西,快速原型出我之后可能要构建的东西。到目前为止,一次性测试对我很有效。 ## 发布于

相似文章

智能体可以消亡,工作得以延续;这在真实生产系统上被验证过;请试着破坏它

Reddit r/AI_Agents

作者将 mishe-tauftauf 开源——一个基于“面向可观测性编程”的小型本地编码智能体协作系统。其中短暂存在的智能体(“心智”)依赖共享状态文档、文本磁带以及返回 GREEN/RED/UNKNOWN 的检查项来工作,而不是维护智能体本身的连续性。该方法已在一个广告技术 DSP 上经受生产环境验证,由三人团队打造,峰值约 5 万 RPS;项目以 CC0 协议发布,并呼吁他人在陌生环境中对其进行压力测试。

AI代理重现了“rockstar developer”问题,只是速度更快

Reddit r/AI_Agents

该文章将AI代理与“rockstar developers”进行对比,他们编写巧妙但难以维护的代码,指出AI代理缺乏对自己行为的记忆。它建议使用可见的约定,如AGENTS.md、ADRs和测试,以使AI代理生成的代码对团队来说易于理解。