标签
一篇新的预印本研究检验了将同一论点归于不同来源(相关领域专家、无关领域专家、非专家或不注明来源)是否会改变大语言模型对其的评价。研究发现,可信度评价对来源高度敏感,而且将论点归于无关领域的专家,实际上可能使其可信度低于不注明来源的情况。
本文通过在答案生成后干预 KV 缓存,研究大语言模型如何判断其答案来自所提供的文档还是参数化知识。研究发现,模型对来源的报告与缓存的问答状态存在因果关联,而非与文档缓存相关;在较小的模型上,施加引导方向几乎能使所有来源报告发生翻转。
Hermes Agent v0.20.0 引入了可溯源引用(grounded citations),将每项研究声明链接到具体来源和段落;此外还新增了事实核查模式,可将声明归类为已证实、未证实或相互矛盾。
本文对8个用于深度研究系统中引用质量的LLM评估器进行了基准测试,发现较便宜的模型在来源相关性和事实支持方面仍与前沿模型竞争,但在方向偏差上有所不同,这对强化学习训练很重要。
一位产品经理分享了在真实 Q3 战略简报上对 Minimax M3 的 1M 上下文窗口的实操测试,指出在约 20 万 token 以内来源归因很准确,但超过后综合能力下降。