Signals：无需 LLM 评审即可找出最具信息量的智能体轨迹 [R]

Reddit r/MachineLearning 论文
agentic-systems efficiency observability open-source research

摘要

Katanemo Labs 推出了 'Signals'，这是一种轻量级方法，可在不使用 LLM 评审或 GPU 的情况下识别出具有高信息量的智能体轨迹，从而在轨迹分析中实现更高的效率。

大家好，我是 Salman，来自 Katanemo Labs（DigitalOcean 旗下公司），Shuguang 和 Adil 也在这里。想介绍一下我们关于智能体系统的最新研究——Signals。如果你一直在构建智能体，你可能已经注意到，需要人工逐一审查的智能体轨迹/路径实在太多，而使用人类或额外的 LLM 调用来检查所有轨迹的成本会迅速攀升。该论文提出了一种轻量级的方法，用于从实时智能体交互中计算结构化的“信号”，从而让你能够找出最值得关注的那些轨迹，同时无需改变智能体在线运行时的行为。计算 Signals 不需要 GPU。Signals 被归类为一个简单的分类体系，涵盖交互、执行和环境模式，包括诸如目标不一致（misalignment）、停滞（stagnation）、脱离（disengagement）、失败（failure）、循环（looping）以及资源耗尽（exhaustion）等情况。在 τ-bench 的标注研究中，基于信号的采样达到了 82% 的信息量比率，而随机采样仅为 54%，这意味着每条高信息量轨迹的效率提升了 1.52 倍。 论文：arXiv 2604.00356。[https://arxiv.org/abs/2604.00356](https://arxiv.org/abs/2604.00356) 已实现 Signals 的项目：[https://github.com/katanemo/plano](https://github.com/katanemo/plano) 欢迎大家就分类体系、实现细节或其局限性提出问题。
查看原文

相似文章

信号：用于智能体交互的轨迹采样与分流

Papers with Code Trending

本文提出了一种轻量级的、基于信号的框架，通过计算低成本指标来高效分流智能体交互轨迹，这些指标能识别出信息丰富的样本，且不影响在线智能体行为，在基准测试上实现了82%的信息率。

Insights Generator：面向 LLM 智能体的系统性语料级轨迹诊断

arXiv cs.AI

本文介绍了 Insights Generator，一个用于 LLM 智能体系统性语料级轨迹诊断的多智能体系统。它通过在执行轨迹中提出并测试假设，生成有证据支撑的洞察。实验表明，使用 Insights Generator 报告可使脚手架性能提升 30.4 个百分点。