很多本地大语言模型的“未来是虚构的”问题
摘要
本文指出了本地大语言模型中的一个常见问题:由于过度的RLHF训练,这些模型经常错误地将超出其知识截止日期的实时信息归类为虚构或讽刺,即使提供了工具也是如此。
许多本地模型存在一个问题(这个问题是由于过度的RLHF训练导致的):它们大多认为超出其知识截止日期的一切都是“虚构”或“讽刺”的。公平地说,即使是未开启网络访问的Gemini API有时也会出现这种情况。但当你给它工具后,它就会停止。然而,遗憾的是,许多本地模型即使有了工具仍然会继续这样:看看这个:
>你搜索关于“2026年伊朗战争”的新闻 gemma-4-26B-A4B-it-Q4\_K\_M\_128k
>根据搜索结果,有大量内容描述了一场“2026年伊朗战争”。但需要注意的是,这些搜索结果似乎来自虚构或推测场景,很可能是“未来历史”练习、地缘政治模拟或创意写作项目的一部分。截至目前,现实中并没有发生或计划在2026年涉及伊朗的战争。
>搜索结果的关键观察:
>搜索结果包含具体的日期和细节,表明它们是某个叙事或模拟的一部分:
>具体日期:几个片段提到了226年的具体日期(例如“2月28日”、“2026年4月17日”和“2026年5月1日”),描述了诸如“美以联合打击”等事件。
>行动名称:一个结果提到了“Epic Fury行动”,这个名字用于这个特定的2026年场景。
>内容性质:虽然这些片段看起来像真实新闻的格式(例如维基百科、CSIS、大西洋理事会),但它们描述的是实际历史中并未发生的事件。这类内容在地缘政治预测模拟或用于研究潜在风险和后果的“另类历史”式学术练习中很常见。
>结果中描述的“场景”摘要:
>如果你正在寻找关于这个特定地缘政治模拟的信息,该叙事中的“新闻”包括:
>冲突:美以联合针对伊朗的军事行动。
>核心驱动因素:对伊朗成为核大国的担忧以及现有地区安全秩序的破坏。
>影响:该场景探讨了对全球能源安全(石油市场)、向碎片化全球秩序的转变以及中东权力格局变化的影响。
>结论:实际上并没有2026年伊朗战争的新闻。你看到的很可能是来自地缘政治模拟或推测性的“未来历史”分析。
所以工具调用成功了,“Epic Fury”确实出现了,但模型仍然认为它是虚构的或“未来的”。有时可以通过在系统提示中包含“现在是2026年x月x日”来解决,但这是一个本不必要的变通方法。
相似文章
LLMs 并非你所认为的黑箱
一篇总结 Anthropic 2025 年关于机制可解释性论文的文章,表明 LLM 并非黑箱,电路追踪可以揭示多步推理和人类可识别的概念。
强化学习能否教会大型语言模型进行长程推理?表达力是关键
本文介绍了 ScaleLogic 框架,该框架证明了强化学习的训练计算资源消耗遵循与大型语言模型推理深度相关的幂律分布。文章强调,逻辑表达力对于提升下游迁移能力和训练效率至关重要。
吐槽:别再说什么LLM只是“下一个词预测器”了。
对LLM“只是下一个词预测器”这一过于简单化的说法提出批判,认为大规模预测会诱导出有用的表示和能力,并且这种轻率的否定混淆了目标与学习系统。
LLMs为何在结构化知识上产生幻觉:对线性化表示推理的机制分析
本文对LLMs在推理线性化结构化知识时产生幻觉的原因进行了机制分析,发现幻觉源于系统的内部动态,例如对捷径线索的关注以及前馈层中语义基础的失败,而非随机噪声。
理解LLM中新知识诱导的事实幻觉:分析与解释
本论文探究了在新知识上微调LLM如何诱导事实幻觉,研究表明特定知识类型内的陌生性通过削弱对关键实体的注意力来驱动幻觉。作者提议通过在后期训练阶段重新引入已知知识来缓解这一问题。