标签
一项实证 arXiv 研究考察了 /retro——一个让编码 agent 回顾已完成会话并提出 harness 修改建议的 skill，发现虽然能生成大量修改建议，但只有一部分能减少后续任务中的重复工作——这表明 harness 自我进化需要相应的机制来验证和修订这些修改。
一项实证研究发现，编码智能体在多个软件工程任务上的持续 harness 自进化会导致严重的灾难性遗忘：在 FeatureBench 上进化后，SWE-Bench 性能从 94.0% 骤降至 32.0%，并为未来的持续智能体 harness 进化提供了启示。
该研究探讨 LLM 如何结合用户的言语承诺（words）与历史决策记录（deeds）来预测用户在人机对话中的合作/背叛决策，发现 LLM 高度依赖声明的意图但几乎不受对手智能体人格特征影响，导致对被违背的承诺预测准确率大幅下降。
本文对 LLM 智能体在执行 Web 与计算机任务时的错误及自我恢复能力进行了实证研究，构建了包含 1,259 条轨迹、1,403 个错误事件的 ReInBench 数据集，并提出 ReCoF 方法来预测错误是否可自恢复，从而决定是否需要外部干预。
这篇实证系统经验报告分析了小型开源权重编码模型在真实编码工作中的表现，指出成功不仅取决于文本连贯性，还依赖于服务配置、协议设计和隐藏行为验证。研究基于4,165个网关轮次和多项委托实验，发现直接编码通常比委托给量化小模型具有更高的验证通过率和更低的每次成功成本。
该论文分析了为何大多数针对语言模型的 RL 后训练方法始终未能进入开源框架，通过追溯七个框架并对照 6,939 篇 arXiv 论文，发现 1,598 个被提出的方法中仅有 37 个被采纳，同时发布了一个追踪数据集，将训练失败案例与框架实现相关联。
南京大学的一项实证研究，旨在探究将速度更快、成本更低的决策模型（TypeSafe AI 的 Jev）整合到大语言模型智能体工作流程中，是否确实能提升任务层面的效率和可靠性。该研究在 ALFWorld 和 AndroidWorld 上对五个智能体进行了评估，共执行了 4,500 次任务。
一项实证研究在执行过程中让四个生产级 AI 智能体代码库——Cua、Skyvern、Corsair、Inconvo——崩溃中断，随后测量重试时产生的重复副作用，结果发现了共同的根本原因：这些系统都没有记录哪些动作已经完成，因此重试时会从空的历史记录出发，重新执行已完成的工作。
一项针对 109 起 AI agent 安全事件的实证复盘发现，38% 的容器逃逸利用的是琐碎的配置错误（例如挂载 docker.sock、泄露的环境变量、缺失的污点跟踪），而非内核 0-day。作者开源了数据集以及一个 Multi-Agent Supervisor 安全防护测试框架，包含污点传播跟踪和执行边界控制。
该论文对12款主流的欧盟人工智能法案合规检查工具（AIACCs）进行了首次实证评估，发现这些工具质量参差不齐，只能作为早期参考；它们过度简化关键义务，且无法提供确定、可执行的指导，可能造成虚假的合规感。
本文对 Jev 这一面向决策的“系统一模型”（System One Model）在个性化推荐重排序中的表现进行了实证研究，发现与推荐专用模型以及逐点式（pointwise）和列表式（listwise）大语言模型重排序器相比，它在多个领域和候选集规模下占据了截然不同的质量—延迟运行区间。
本文发现潜在世界动作模型无法泛化，并提出了Simple-WAM，它通过将未来建模简化为单次前向传递来提高泛化性能，同时保持效率。
本研究探讨了Google开发者的生产力，发现代码质量及其他因素对生产力有因果影响，代码质量通过面板数据分析显示出强烈的影响。
本文总结了针对编码代理的框架设计的实证研究，表明上下文管理可防止溢出故障、在 LLM 摘要之前进行基于规则的省略具有成本效益，并且规划的作用随模型强度而变化。
一位用户感谢 AK 分享了他们的论文 'An Empirical Study of Harness Design for Coding Agents'，该论文专注于软件工程中的 AI 研究。
本文对资源中断下修订旅行行程的方法进行了统一的实证评估，比较了完全重新规划、计划修复和基于大语言模型的修订方法，评估维度包括有效性、计划稳定性和计算成本。
本文通过引入随机文本控制来挑战语言模型中少样本退化的扭曲假说，表明表示偏移主要由提示长度引起，而具有更高内容增量的模型从少样本提示中获益更多。
本文首次对多任务学习在预测过程监控中的应用进行了全面的实证研究，展示了在下一活动预测和类不平衡缓解方面相较于单任务学习的改进。