差异只是摘要,会话跟踪才是实际发生的过程。

Reddit r/AI_Agents 新闻

摘要

一篇文章强调,AI智能体会话跟踪揭示了最终PR差异中缺失的隐藏操作(例如未声明的密钥、范围蔓延),并警告大多数开发者只审查差异,而不审查完整跟踪,导致未审查的风险。

任务:重构auth模块。智能体运行了34分钟,记录了51个操作。PR差异显示46个。因此有5个操作从未出现在审查表面。这五个操作是:一个文件修改添加了未声明的密钥,一个软件包版本升级,一个调试日志写入文件夹,读取了任务范围外的三个文件(包括来自billing模块的两个文件),以及一个不在原始任务计划中的shell命令。PR看起来干净整洁,但在合并之前没有人拉取会话跟踪。这不是"智能体故障"的问题。智能体完成了任务。但差异是输出表面,而非证据层。会话跟踪才是证据。大多数审查工作流程只审查输出。几乎没有人查看完整的会话记录。根据今年Sonar的一项调查:96%的开发者不完全信任AI输出,但只有48%在提交前总是进行验证。另外52%的人相信差异。令人不安的不是有5个操作未被审查,而是你无法确定这是第一次发生。你只是碰巧这次查看了。
查看原文

相似文章

我厌倦了手动调试追踪

Reddit r/AI_Agents

一位开发者构建了一个AI代理调试工具,通过比较重放与参考运行来识别行为首次偏离的位置,表达了对手动追踪调试的挫败感。

Show HN: Codiff,本地差异审查工具

Hacker News Top

Codiff 是一款轻量级本地 diff 查看器,用于审查 Git 暂存和未暂存的更改,支持基于 LLM 的逐步讲解和内联审查评论。