标签
JudgmentLabs 面向长时间运行的智能体系统开放了其平台的通用访问权限，旨在挖掘丰富的智能体轨迹数据，以改进未来任务中智能体的部署方式。
Judgment Labs 开放通用访问，旨在帮助开发者从生产环境的 agent 追踪记录中整理测试数据集。该工具能挖掘 agent 追踪记录中的隐藏信号，例如用户的请求内容以及 agent 在哪些环节出现卡顿。
一个 MIT 许可的 CLI 工具 chewme-audit 用于审计 Agent 轨迹导出文件，检测 token 浪费情况。它在 73 条公开基准测试轨迹中发现 74% 存在浪费，支持按各提供商定价计算，并提供可直接复制粘贴的修复方案，在实际运行中将 token 浪费最高降低了 77%。
Hugging Face 中心现在为 Agent Traces 提供凭证，显示每次运行的令牌使用量、缓存命中率和成本。
本文讨论了AI代理跟踪中成功的重试如何因识别相似调用的不确定性而使分析复杂化，并介绍了Traser，一个用于突出有意义差异并为工程师减少不确定性的工具。
LangSmith对其代理跟踪过滤功能进行了重建，使得构建查询、查找运行和理解匹配更加快速和便捷。
Baseten Loops 是一款工具，通过微调代理轨迹上的开源模型并部署检查点到生产环境，帮助团队为 LangSmith Engine 训练模型。
一篇论文探讨了代理工具箱与模型对代理行为的贡献差异，将轨迹压缩成一个紧凑的有限状态机，并在十二个数据集上进行了验证。
Agnost AI 推出了其首个模型 agnost-*******-0.1，该模型基于客户的生产跟踪数据训练，在任务成功率上提升了 22.9%，并在某些指标上减少了 90.2%。
对 Activeloop Hivemind 的实操评测：它从代理轨迹中挖掘出 19 个可复用技能，通过跳过已记录的流程展现了选择性记忆，在复杂任务上改善了跨会话回忆，但在短任务上出现回忆问题与额外开销。
Arize Phoenix 宣布推出代理追踪的可定制可视化功能，可在生产环境中实时跟踪缓存命中、在线评估性能下降和工具调用错误。
World Model Optimizer 是一款开源CLI工具，能够从智能体轨迹中优化AI模型，并通过路由器提供服务，在降低成本的同时保持前沿模型的质量。
LangChain发布了Eval Engineering Skill，通过映射智能体仓库和生产跟踪数据自动生成可执行的Harbor评估，并采用迭代式用户访谈流程以优化评估。
Oodle在Hacker News上推出Agent可观测性服务，提供每百万跨度10美元的Agent追踪，帮助AI原生团队检测静默失败并提高可靠性。
这篇推文讨论了自学作为竞争护城河的概念，强调了浏览器活动和代理痕迹是关键数据来源，并介绍了AG-UI——一个用于捕获用户与代理交互以改进产品的开放标准。
本文讨论了一种构建自我学习型智能体的方法，通过结合智能体追踪与浏览器内用户活动，利用AG-UI协议捕获并应用学习成果，使产品在使用中不断改进，从而构建商业护城河。
Arize Phoenix宣布新增追踪搜索功能，以处理日益长且复杂的代理追踪，允许用户跨追踪进行搜索，并查看span的调用堆栈。
一篇论文提出了一种机制，通过安全地将混乱的日常工作转化为学习数据来改进企业智能体，采用数据代理和控制层，AREAL2.0 展示了从真实交互轨迹进行在线强化学习。
Morph Reflexes 利用共享主干上的多头分类器，从智能体轨迹中提供快速、廉价的语义信号，实现对生产智能体的可扩展监控。
Skill-DisCo 是一个框架，它将可重用的程序化技能从成功的智能体轨迹中提炼出来，并将其编译成可调用、可执行的程序。在 ALFWorld 和 WebArena 上的实验表明，该框架提高了成功率并减少了智能体的回合数。