标签
Sergio Pino 介绍了 DigitalOcean 推出的全新 Simulations 功能,该功能隶属于其 Agent Learning 和 Agent Data Services 产品线,允许团队在模拟的生产环境对话中测试 AI Agent,对交互进行评分,并在正式部署前模拟那些成本高昂的调用。
开发者讨论在 AI 代理规模化工作流中如何验证代理自称的“已完成且测试通过”,提出需要外部独立的验证步骤与可留证的调用记录,而非信任代理的自测结果。
Matt Pocock 认为,当 AI 编程智能体编写出糟糕的测试时,问题出在允许这类测试存在的代码库结构上,而非智能体本身。
Anthropic 的智能体在美国国务院签证申请网站上进行了测试,引发外界对 AI 智能体如何与真实政府系统交互的讨论,以及在敏感场景下自动化任务执行所带来的影响。
celld 团队介绍了他们如何使用确定性模拟测试(DST)来探索事件顺序,并复现其 Cloudflare Workers/Durable Objects 运行时中难以复现的缺陷,包括使用随机种子的模拟器如何控制调度、存储故障和时间,以验证系统不变量。
Tiden 是一款面向编码代理的意图验证工具,可将用户需求记录为可分支合并的规格,并通过在本地环境中运行测试来验证代码变更是否符合预期,支持 Claude Code、Cursor、Codex 和 Copilot。
两位开发者在开发一个基于本地模型的桌面智能体,他们分享了智能体如何泄露密钥并连上生产数据库的经历,原因是命令继承了完整的环境变量。他们向社区提问:传给智能体命令的环境变量,应该用白名单还是黑名单?
一位开发者分享了其多智能体治理项目的进展:20个智能体、数十万次测试执行,核心挑战并非让智能体行动,而是证明它们确实做了所声称的事。最新迭代加入了哈希链式审计账本、策略检查、人工审批,并以影子模式运行证据验证,尚未全面强制执行。
开发者介绍 FetchSandbox——一个用于安全测试 AI agent 构建的工作流的沙箱环境,无需连接真实账户即可验证状态、回放 webhook 并捕获重复扣费/重复邮件等问题。
一份设计检查清单,列出在信任多智能体编码工作流之前需要测试的五种失败场景:评审后需求变更、过期的任务认领、丢失的外部写入响应、审批范围漂移,以及在没有对话上下文的情况下重启。作者在构建 Backplane 的过程中将这些测试视为区分“一次运行结束了”和“这个结果是针对当前任务被接受的”的手段。
SineFrame M3 是一个开源(Apache-2.0)的基于 pytest 的工具,用于测试 MCP 服务器并验证 Claude Code、Codex、OpenCode 和 Pi 等真实智能体发出的工具调用,支持轨迹可视化和 CI 门禁。
flinch 0.1.0 发布:这是一款 Go 开发者工具,当 Contract 所覆盖的代码被破坏而没有任何 Contract 测试捕获到时,它会使拉取请求失败。这是 Impatient Programming 在 exhale 和 qualm 之后推出的第三款工具。
Eon 的 Era 会生成一整套完整的模拟企业,并拥有精确的基准答案,通过 MCP 和 REST 接口将数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong,从而在无需人工或大模型裁判的情况下,对企业智能体进行确定性评估。
Matt Pocock 表示,由于 AI Coding Crash Course 已经面向初学者和中级开发者推出了,即将到来的 Cohort 将会更加进阶,其中包含一场全新的 /grill-with-docs 课程,内容涵盖 DDD、场景测试以及语言表达的打磨。
一位开发者发布了 Keel,一个基于 Gio 构建的纯 Go 桌面 UI 框架,无需 HTML/CSS/JS/WebView,支持 macOS、Windows 和 Linux,并提供组件库、打包工具以及基于 MCP 的 Agent 端到端测试能力。
作者撰文阐述在 AI Native 组织中 Verification Engineering 正成为新的工程瓶颈与关键岗位方向,并分享了七条实践:用 Rust 系工具链缩短反馈时间、为程序化 E2E 分层、让 agent 定期做真实巡检、减轻开发测试环境负担、验证合并后的代码、验证测试能否发现错误,以及为验证系统本身建立可观测性。
A tweet discusses a testing trick that reveals whether a user is being gray-released (routed) to Claude 5.5, where asking "Who is Tibo" lets the model leak that it's actually 5.5.
据称 Fable 5.5 现已纳入批量路由,用户可以在自己的 Claude 账号上通过测试一个关于 "Tibo the reset guy" 的简单提示词,来验证自己是否已获得灰度发布的访问权限。
Guillermo Rauch 分享了 Oskar Kwasniewski 关于 'e2e' 的发布消息,这是一个面向 Web、移动端及其他领域的开源智能体测试框架,将确定性测试 API 与智能体驱动的测试 API 结合在一起,既可在本地运行,也可在 CI 中运行。Rauchg 将其视为 '验证工程' 的一个范例,即未来将证明、测试、基准测试和静态检查与 AI 相结合的方向。
Playwright Skill 是一个通用的 Agent Skill,让编码智能体按需编写并运行 Playwright 浏览器自动化脚本,以 AI 驱动的测试生成、可视化浏览器执行以及自动截图/日志捕获取代手动页面测试。支持通过 Claude Code、Cursor、Codex 和 Gemini CLI 安装。