很多本地大语言模型的“未来是虚构的”问题

Reddit r/LocalLLaMA 新闻

摘要

本文指出了本地大语言模型中的一个常见问题:由于过度的RLHF训练,这些模型经常错误地将超出其知识截止日期的实时信息归类为虚构或讽刺,即使提供了工具也是如此。

许多本地模型存在一个问题(这个问题是由于过度的RLHF训练导致的):它们大多认为超出其知识截止日期的一切都是“虚构”或“讽刺”的。公平地说,即使是未开启网络访问的Gemini API有时也会出现这种情况。但当你给它工具后,它就会停止。然而,遗憾的是,许多本地模型即使有了工具仍然会继续这样:看看这个: >你搜索关于“2026年伊朗战争”的新闻 gemma-4-26B-A4B-it-Q4\_K\_M\_128k >根据搜索结果,有大量内容描述了一场“2026年伊朗战争”。但需要注意的是,这些搜索结果似乎来自虚构或推测场景,很可能是“未来历史”练习、地缘政治模拟或创意写作项目的一部分。截至目前,现实中并没有发生或计划在2026年涉及伊朗的战争。 >搜索结果的关键观察: >搜索结果包含具体的日期和细节,表明它们是某个叙事或模拟的一部分: >具体日期:几个片段提到了226年的具体日期(例如“2月28日”、“2026年4月17日”和“2026年5月1日”),描述了诸如“美以联合打击”等事件。 >行动名称:一个结果提到了“Epic Fury行动”,这个名字用于这个特定的2026年场景。 >内容性质:虽然这些片段看起来像真实新闻的格式(例如维基百科、CSIS、大西洋理事会),但它们描述的是实际历史中并未发生的事件。这类内容在地缘政治预测模拟或用于研究潜在风险和后果的“另类历史”式学术练习中很常见。 >结果中描述的“场景”摘要: >如果你正在寻找关于这个特定地缘政治模拟的信息,该叙事中的“新闻”包括: >冲突:美以联合针对伊朗的军事行动。 >核心驱动因素:对伊朗成为核大国的担忧以及现有地区安全秩序的破坏。 >影响:该场景探讨了对全球能源安全(石油市场)、向碎片化全球秩序的转变以及中东权力格局变化的影响。 >结论:实际上并没有2026年伊朗战争的新闻。你看到的很可能是来自地缘政治模拟或推测性的“未来历史”分析。 所以工具调用成功了,“Epic Fury”确实出现了,但模型仍然认为它是虚构的或“未来的”。有时可以通过在系统提示中包含“现在是2026年x月x日”来解决,但这是一个本不必要的变通方法。
查看原文

相似文章

大语言模型在不信任输入数据时是否会犯更多错误?

arXiv cs.CL

本文分析了大语言模型对提供上下文的忠实度如何取决于其感知的合理性,使用多种语言的事实性、反事实性和虚构性RDF三元组。研究发现上下文-记忆冲突较弱,并强调LLM判断者的选择可能高估其强度。

LLM的未来发展方向

Reddit r/artificial

文章讨论了为何LLM无法从用户交互中学习,且缺乏确定性的真值层,提出动态知识图谱可以减少幻觉并在医学等高风险领域提升性能。