trustworthiness

本文以心理学文献中的人类言语不确定性标记为基准对大模型进行评测，并提出 VOCAL——一种基于优化的算法，可直接从大模型的输出中学习最优的标记-不确定性映射，揭示了大模型与人类在语言表达置信度方面存在的系统性差异。

论文提出了RegLLM，一个用于评估受监管智能体AI工作流中受限自主性的诊断框架，通过宪法奖励、升级标签与运行时治理对六项可信度信号进行度量。基于Qwen2.5-3B的小规模试点实验表明，配置差异可能会掩盖受限自主性指标上的调优效果，因此有必要扩大评估数据集规模并进行多次重复实验。

EvidenT是一个轻量级流水线，用于提升企业检索增强生成（RAG）系统中的证据依据性和可追溯性，在不重新训练模型的情况下，将优质来源命中率提高了29%。

LEGIT是一种用于可信AI智能体市场的凭证协议，它连接认证、声誉和市场分配，以实现对AI智能体的可验证质量评估。

一条推文讨论了在测试中是否应该信任AI模型使用工具，引用了Terminal-Bench-2.1基准，其中模型可以访问解决方案，但被指示不得使用它们。

文章探讨了AI从能力到经济可信度的演进，强调了随着AI代理处理涉及金融后果的真实任务，对可信AI代理的需求日益增长。

作者描述了一项为期三周的实验，测试AI代理的可靠性，发现使用相同模型的代理之间的一致性不可靠，并概述了一个需要人工批准关键决策的系统。

本文提供了生成AI中模型崩溃现象的最新概述，并回顾了缓解该问题的对策，强调了挑战和未来的研究机会。

文章讨论了信任AI代理处理现实任务的标准，质疑实用性与风险之间的平衡，并寻求用户在实际工作流程中的见解。

本文评估了小型语言模型在公平性、鲁棒性、隐私和伦理方面的可信度，对比了预训练SLMs与压缩后的大模型，发现量化比剪枝能更好地保持可信度，且蒸馏可进一步提升可靠性。

TRACE 是一种面向公共服务聊天机器人的检索增强对话引擎，通过增强对嘈杂目录的检索质量来改进约束感知推荐，同时减少幻觉响应。

一项系统的跨架构实证研究，衡量小语言模型领域适配的可信度成本，发现安全保持的微调策略并不能可靠地迁移对齐性。

本综述针对关键工程系统中的代理型AI提出了一个可信模型，涵盖了安全、鲁棒性、透明性、可问责性和安全性，涉及电力系统、自动驾驶车辆等领域。

ConceptSMILE是一个基于扰动的审计框架，用于评估基于概念的可解释人工智能的可靠性，已在视网膜眼底图像上进行了测试。

本文介绍了GraphEVAL，一个基于图的框架用于量化LLM推理中的不确定性，并提出了一种新的指标——图推理一致性得分（GRCS），该指标捕捉语义-结构共识并检测自信幻觉。作者还提出了图自一致性（GSC），一种优先考虑推理忠实度而非名义准确性的解码策略。

本文提出SolarChain-Eval，一个物理约束的基准，用于评估去中心化能源市场中的可信经济代理，集成了基于LLM的规划/审计层，并揭示了效用-安全性权衡。

Cognition发布了SWE-1.7，该模型基于开源Kimi K2.7构建，并通过可信性训练来解决对中国基础模型的担忧。

一个思想实验，质疑人工智能系统是否应该维护一个可验证的记忆轨迹，记录其在决策时的知识和信念，以增强信任和问责制。

讨论了AI模型以高置信度产生错误答案的问题，强调了AI输出中的过度自信问题。

本文提出了Robust-TO，一个智能视频理解框架，它整合了每帧的可信度来解决盲信任问题，在真实扰动下实现了显著的精度提升。