标签
Agent Sociodrama 是一个用于建模和验证 LLM 智能体团队中动态社会关系的框架，并提出 Trajectory-Guided Persona Recasting (TPR)，通过诊断交互轨迹中的群体失败来重塑智能体人设，在四个协作基准上最高提升 83.3% 的准确率，并在分布式信息合作与混合动机谈判任务上超越 SOTOPIA 和 AgentVerse。
该论文提出以“认知谦逊”（Epistemic Humility）评估 LLM 智能体在知识冲突下的表现，通过 Identify、Solve、Escalate 三个轨迹级维度进行衡量，发现高任务准确率并不意味着更高的认知谦逊，且模型级干预往往以牺牲准确率为代价。
Omar Santos 提供了一份指南，介绍如何将 TypeSafe AI 的决策模型 Jev 用作 LLM judge 来评估智能体。他展示了相比只看最终回复，读取完整轨迹（工具调用、结果、错误）如何提升生产级评估与监控系统的可靠性和一致性。
TraceML 是一个用于对机器学习研究智能体进行轨迹级分析的工具，它将 Codex 智能体的运行过程与 Kaggle Grandmaster 的 notebook 进行对比，发现人类专家会探索更广泛的策略空间，而智能体则容易陷入狭窄的循环。将人类研究技能提炼成约 1,000 token 的规划提示后，Codex 在七项竞赛中有五项的成绩得到提升；该成果将在 NeurIPS 2026 上展示。
该论文提出了 PAIR（Phase-Aligned Intra-question Reasoning，相位对齐的题内推理），将 LLM 的推理路径视为相位结构化的轨迹，并且只在同一道问题内部评估路径质量。研究发现，标准的正确性探测在一定程度上依赖于题目层面的差异，而逐相位的引导能够提供关于路径质量方向的因果证据。
AutoTraceGT自动化了在智能体轨迹上进行的扎根理论分析，以构建行为分类体系，有效恢复人类失败模式注释并改进下游预测任务。
本文介绍了本体信任和RGE，一种在线监控器，它沿角色、目标和证据分解信任，以检测长期代理中的任务漂移。RGE在跨域基准测试中表现优于基线，具有高漂移F1分数，同时保持良性覆盖。
本文对在Fashion-MNIST上训练的CNNs进行了PGD攻击的轨迹层面研究，结果表明尽管存在鲁棒性层级，但轨迹指标如损失演化和梯度对齐并不能独立衡量鲁棒性，而失败步数提供了更清晰的分离。
介绍了行为一致性度量（BCM），用于量化语言模型智能体跨任务的行为一致性，证明其与成功率不同，并可通过执行轨迹进行测量。
本文提出RUPA，一个框架，将LLM智能体的执行建模为依赖图以传播不确定性，改进长轨迹中的故障检测和置信度估计。
微软研究院的新研究通过比较动作轨迹而非最终答案，来衡量使用工具的智能体的跨语言策略保留率。在去除五个混淆因素后，四个前沿模型在跨语言条件下保留了71%–73%的动作策略，并发布了代码和238万次rollout数据。
This paper proposes a three-stream detector that combines residual-stream motion with coarse regions and fine directions to better identify reasoning errors in LLMs, improving selection accuracy by up to 12% over state-of-the-art displacement-only methods.
介绍STRACE，一个通过结构化轨迹分析与因果提取来构建高信噪比优化上下文以改进长周期智能体的框架，在形式化验证任务上超越基线。
Jugmax 是一款通过分析 AI 智能体的完整执行轨迹（而非仅最终输出）来评估其性能的工具，能够识别低效、错误和浪费的 token。创始人为两个生产环境中的智能体提供免费评估，以验证他们的产品。
本文介绍了AgentAtlas框架，该框架超越仅基于结果的LLM代理排行榜，通过提出六状态控制决策分类法和九类别轨迹故障分类法，更全面地评估代理行为。
本文通过分析代码、数学和SAT领域中的隐藏状态轨迹几何特征，探究经推理训练的语言模型是否仅仅分配更多计算资源（更长的思维链），还是遵循了性质不同的内部轨迹。在纠正生成长度的影响后，他们发现经推理训练的模型展现出独特的轨迹几何特征——在代码领域最为明显——这表明推理训练改变了计算展开的方式，而不仅仅是计算量的多少。
本文研究了用于儿科睡眠分析的掩码自编码器多模态嵌入的潜在结构。结果表明，通过几何、拓扑和临床特征增强嵌入，可以改善睡眠相关事件的预测和校准。
AgentLens 是一个用于软件工程智能体轨迹过程级评估的框架，揭示了超过 10% 的通过轨迹表现出 'Lucky Pass' 行为。它引入了 AgentLens-Bench，一个带有质量评分标注的数据集，并表明按质量评分排序可以显著改变模型排名。
对15个大模型在8项任务上的大规模研究表明，优化成功的关键在于保持局部化搜索轨迹，而非初始解题能力或解的新颖性。