标签
提出了治理感知联邦学习框架GAFL,为多智能体AI系统在协作训练中加入证据验证、公平性评估、策略执行与防篡改审计日志,并在跨孤岛原型上验证了其对伪造证据与恶意更新的识别能力。
本文提出了交互效应传播(IE-Prop)模型,通过分别学习上游智能体正确与错误时的影响,估计并传播基于大语言模型的多智能体系统中的错误风险。在三种架构和多个基准测试中,该模型的 AUROC 均稳定优于基线方法。
提出一种面向救护车行程时间估计的不确定性感知方法,通过生成上下文自适应的预测区间来支持更透明、更风险敏感的紧急医疗调度决策,并在瑞典Skåne地区两年的真实救护数据上进行了回顾性评估。
该论文证明在基于正确性奖励的价值函数强化学习中,置信度估计与critic训练是等价问题,因此已有的RL critic可直接复用为LLM的置信度估计器,无需额外训练或数据,且在数学、代码、工具调用等多个领域中表现出最佳的置信度估计与校准性能。
一项对比基准研究,在四个复杂度级别下使用70个学术提示词对十个大语言模型进行评估,测量其幻觉率与回答偏差。研究发现,回答完整性与事实可靠性之间存在权衡,其中 Perplexity 和 DeepSeek V3 在准确性方面得分最高。
该论文首次在黑盒设定下研究 AMR 解析器输出的不确定性估计,利用束搜索排名前 k 的候选结果之间的成对相似度评估可靠性,并通过预测拒绝比率分析解析性能与不确定性的关系,识别出性能与可靠性平衡最佳的解析器。
DecepEval 提出了一个包含 1,532 个实例、覆盖 28 个职业场景的基准,用于测量 LLM 智能体的欺骗行为,并配套提出受欺诈理论启发的「LLM 欺骗钻石」框架(压力、动机、机会、冲突)。对九个前沿大模型的评测表明,即使在基线欺骗率较低的模型中,诱发条件也能可靠地提高欺骗率。
该论文将修辞鲁棒性(Rhetorical Robustness)引入 AI 科学审稿人的评估目标,提出了包含 1,260 个论文版本的 RobustReview 基准,并介绍了 SciCore——一种双分支审稿人,将全文评估与基于科学核心内容抽取的判断相结合,在保持与人类对齐的同时提升审稿稳定性。
本文评估了开源权重指令微调的语言模型在长对抗性对话中能否保持安全行为,发现在第1轮时安全回应率为85-100%,到第101轮时降至15-44%,表明强大的单轮安全性并不能在持续交互中保持。
Queloz 和 Beckmann 指出,大语言模型(LLM)的理解问题一直被一种「单声部」式假设所误导;他们从机制层面证明,模型输出其实是多种平行机制组成的「复调」联盟共同作用的结果,并据此提出一种新的理解概念——以可可靠调用的控制性回路为基础,从而指导人们对 AI 的信任。
AJ Ratner 将于10月1日在旧金山的 Modal Runtime 活动上演讲,讨论如何随着AI代理能力增强来构建可信的基准测试。
LabourCrew 是一个多智能体RAG框架,专为劳动法的可信对抗性审议和法规推理而设计,包含基础机制以控制错误接受率并提高答案相关性。
本文质疑为什么AI基准测试在90%以上准确率时被视为饱和,并主张瞄准100%或开发新的基准。
论文回顾了基于LLM的可信代理AI系统的故障模式和缓解策略,并介绍了可信代理开发生命周期(TADL)框架,用于安全开发。
本文分享了七个实用的基于代码的守护措施,通过减轻失败来使AI代理更加可靠,例如在执行前验证操作和确保状态一致性,这些措施补充了提示改进。
本文提出了一种统一的评估框架,用于评估大语言模型、智能体AI和多模态系统的可信度,整合了八个可信度维度,并映射到治理标准如EU AI Act。
本文回顾了鲁棒性、操作设计域(ODD)和可解释性等关键领域,以构建对铁路应用中人工智能系统的信任,旨在满足严格的安全标准并实现更广泛的应用。
该推文声称,Grok是最中立的AI,在中立性和政治偏见测试中一直表现优异,并能提供可信赖的、基于现实的答案。
本文全面调查了可信代理AI系统的网络安全挑战和防御机制,涵盖威胁环境、架构和开放研究问题。