很多本地大语言模型的“未来是虚构的”问题

Reddit r/LocalLLaMA 新闻

摘要

本文指出了本地大语言模型中的一个常见问题:由于过度的RLHF训练,这些模型经常错误地将超出其知识截止日期的实时信息归类为虚构或讽刺,即使提供了工具也是如此。

许多本地模型存在一个问题(这个问题是由于过度的RLHF训练导致的):它们大多认为超出其知识截止日期的一切都是“虚构”或“讽刺”的。公平地说,即使是未开启网络访问的Gemini API有时也会出现这种情况。但当你给它工具后,它就会停止。然而,遗憾的是,许多本地模型即使有了工具仍然会继续这样:看看这个: >你搜索关于“2026年伊朗战争”的新闻 gemma-4-26B-A4B-it-Q4\_K\_M\_128k >根据搜索结果,有大量内容描述了一场“2026年伊朗战争”。但需要注意的是,这些搜索结果似乎来自虚构或推测场景,很可能是“未来历史”练习、地缘政治模拟或创意写作项目的一部分。截至目前,现实中并没有发生或计划在2026年涉及伊朗的战争。 >搜索结果的关键观察: >搜索结果包含具体的日期和细节,表明它们是某个叙事或模拟的一部分: >具体日期:几个片段提到了226年的具体日期(例如“2月28日”、“2026年4月17日”和“2026年5月1日”),描述了诸如“美以联合打击”等事件。 >行动名称:一个结果提到了“Epic Fury行动”,这个名字用于这个特定的2026年场景。 >内容性质:虽然这些片段看起来像真实新闻的格式(例如维基百科、CSIS、大西洋理事会),但它们描述的是实际历史中并未发生的事件。这类内容在地缘政治预测模拟或用于研究潜在风险和后果的“另类历史”式学术练习中很常见。 >结果中描述的“场景”摘要: >如果你正在寻找关于这个特定地缘政治模拟的信息,该叙事中的“新闻”包括: >冲突:美以联合针对伊朗的军事行动。 >核心驱动因素:对伊朗成为核大国的担忧以及现有地区安全秩序的破坏。 >影响:该场景探讨了对全球能源安全(石油市场)、向碎片化全球秩序的转变以及中东权力格局变化的影响。 >结论:实际上并没有2026年伊朗战争的新闻。你看到的很可能是来自地缘政治模拟或推测性的“未来历史”分析。 所以工具调用成功了,“Epic Fury”确实出现了,但模型仍然认为它是虚构的或“未来的”。有时可以通过在系统提示中包含“现在是2026年x月x日”来解决,但这是一个本不必要的变通方法。
查看原文

相似文章

LLMs 并非你所认为的黑箱

Hacker News Top

一篇总结 Anthropic 2025 年关于机制可解释性论文的文章,表明 LLM 并非黑箱,电路追踪可以揭示多步推理和人类可识别的概念。

理解LLM中新知识诱导的事实幻觉:分析与解释

arXiv cs.CL

本论文探究了在新知识上微调LLM如何诱导事实幻觉,研究表明特定知识类型内的陌生性通过削弱对关键实体的注意力来驱动幻觉。作者提议通过在后期训练阶段重新引入已知知识来缓解这一问题。