同一个Agent,同一个提示,不同运行结果。你选择哪个输出上线?

Reddit r/AI_Agents 新闻

摘要

作者注意到,在不同会话中用同一个Claude Code运行相同任务,会产生不同的决策模式,导致难以选择可以安全上线的输出,并指出目前缺乏评估Agent决策档案的工具。

这周我在几次不同的会话中,通过同一个Claude Code实例运行了相同的任务。不同日期,不同的上下文状态。输出结果有着显著差异。不是对错之分,而是:一次运行采取谨慎、循序渐进的步骤,每次写入前都明确检查文件;另一次运行速度更快,做了假设,生成的代码能用但包含三个未记录的行为。两次都通过了CI。问题不在于某次运行很差,而在于我没有一个原则性的方法来选择该发布哪个。我全凭感觉:选择看起来更谨慎的那次。这不是一个系统化的方法。我们有完善的工具评估输出:测试、lint工具、代码审查。但基本上没有任何工具可以评估Agent用来达成结果的决策模式。两种不同的行为特征,相同的产出形态,除非手动重放会话,否则无法区分。我不是在问评估基准或排行榜分数——那些是整体层面的信号。我指的是每个实例、每次执行的差异:这个特定的Agent实例,在这个特定的代码库上下文中,是否倾向于做出我可以认可的决定?很好奇人们发现了哪些跨越单一会话仍持续的模式。
查看原文

相似文章

[后续] 单智能体还是多智能体?我用上个帖子中的 4 种配置运行了同一个构建任务

Reddit r/AI_Agents

作者让四种智能体配置执行了相同的 Python 构建任务——Claude Code 单智能体、Codex CLI 单智能体、Paseo 主导者/工作者团队,以及 Atomic Agent Fusion 模式——并比较了速度、隐藏测试结果和 API 成本。单智能体速度快,且全部通过测试;而编排的主要优势在于通过本地工作模型降低成本,而非提升速度。