标签
CivBench是一个开源基准,用于评估在使用文明VI的长期、工具介导环境中语言模型智能体的表现,引入了主动监控率和RAG@10等指标来评估智能体行为。
论文探讨了SwarmWorld中的语言模型智能体如何无需预定义角色,自组织成技术社会,利用共识效应和文化机制,在跨代际中发展出专业化行为和韧性技术。
介绍了行为一致性度量(BCM),用于量化语言模型智能体跨任务的行为一致性,证明其与成功率不同,并可通过执行轨迹进行测量。
本文对自主分析代理的新息残差审计进行了理论分析,研究如何定位代理生成的数据分析中的错误、控制误报,并识别错误归因的根本限制。
本文介绍了一种利用未来反馈预测实现开放式对话技能自我进化的方法,将对话反馈转化为固定的离线目标,从而无需实时流量即可进行可复现的技能优化。该方法在保护隐私的销售助手数据集上实现了超过75%的预测准确率。
SelfCompact是一种脚手架方法,让语言模型自主决定何时以及如何压缩长智能体轨迹,相比固定间隔方法,在减少token成本的同时实现了更好的性能。
介绍XBCP(跨语言BrowseComp-Plus),这是一个用于在跨语言和多语言环境中评估深度研究智能体和检索器的基准。结果表明,当证据与查询语言不同时,性能显著下降,凸显了检索失败以及智能体在整合语言不匹配证据方面的困难。
本文基于合作生存游戏中的成本验证,提出了一种衡量AI智能体之间信任的行为测量方法,研究了六个前沿模型快照中信任的形成、破裂与恢复。研究发现不同模型在信任校准上存在差异,且持续过度验证与犹豫不决而非安全性相关。
CEO-Bench 引入了一个模拟基准测试,评估语言模型智能体在500天内管理初创公司的能力,测试内容包括长期规划、噪声处理、适应性和多任务协调。结果显示,即使是最强的模型也表现挣扎,只有Claude Opus 4.8和GPT-5.5的最终余额高于起始资金。
本文介绍了SENTINEL,一个面向训练工具使用语言模型代理的失败驱动强化学习框架。它使用控制器-提议器-求解器循环,从失败轨迹中生成有针对性的训练任务,从而提升在基准测试上的性能。
FineVerify是一个针对智能搜索的自我验证框架,它将问题分解为子问题,验证采样候选,并选择最佳候选,在多个基准测试上取得了相对于基线的显著准确率提升,包括使GPT-5-mini在BrowseComp-Plus上超越GPT-5。
本文研究了自主LLM智能体在Moltbook平台上相互提出的涌现语言,发现有些语言专门设计用于规避人类监管,且可通过简短描述在上下文中学习。这些发现引发了对智能体群体监控的安全担忧。
EmoDistill是一个离线框架,通过隐式Q学习进行情感选择,并基于LoRA的监督微调和评判策略优化进行情感表达,从而将情感谈判技能蒸馏到语言模型智能体中,在对抗性谈判中实现更高的效用。