很多本地大语言模型的“未来是虚构的”问题
摘要
本文指出了本地大语言模型中的一个常见问题:由于过度的RLHF训练,这些模型经常错误地将超出其知识截止日期的实时信息归类为虚构或讽刺,即使提供了工具也是如此。
许多本地模型存在一个问题(这个问题是由于过度的RLHF训练导致的):它们大多认为超出其知识截止日期的一切都是“虚构”或“讽刺”的。公平地说,即使是未开启网络访问的Gemini API有时也会出现这种情况。但当你给它工具后,它就会停止。然而,遗憾的是,许多本地模型即使有了工具仍然会继续这样:看看这个:
>你搜索关于“2026年伊朗战争”的新闻 gemma-4-26B-A4B-it-Q4\_K\_M\_128k
>根据搜索结果,有大量内容描述了一场“2026年伊朗战争”。但需要注意的是,这些搜索结果似乎来自虚构或推测场景,很可能是“未来历史”练习、地缘政治模拟或创意写作项目的一部分。截至目前,现实中并没有发生或计划在2026年涉及伊朗的战争。
>搜索结果的关键观察:
>搜索结果包含具体的日期和细节,表明它们是某个叙事或模拟的一部分:
>具体日期:几个片段提到了226年的具体日期(例如“2月28日”、“2026年4月17日”和“2026年5月1日”),描述了诸如“美以联合打击”等事件。
>行动名称:一个结果提到了“Epic Fury行动”,这个名字用于这个特定的2026年场景。
>内容性质:虽然这些片段看起来像真实新闻的格式(例如维基百科、CSIS、大西洋理事会),但它们描述的是实际历史中并未发生的事件。这类内容在地缘政治预测模拟或用于研究潜在风险和后果的“另类历史”式学术练习中很常见。
>结果中描述的“场景”摘要:
>如果你正在寻找关于这个特定地缘政治模拟的信息,该叙事中的“新闻”包括:
>冲突:美以联合针对伊朗的军事行动。
>核心驱动因素:对伊朗成为核大国的担忧以及现有地区安全秩序的破坏。
>影响:该场景探讨了对全球能源安全(石油市场)、向碎片化全球秩序的转变以及中东权力格局变化的影响。
>结论:实际上并没有2026年伊朗战争的新闻。你看到的很可能是来自地缘政治模拟或推测性的“未来历史”分析。
所以工具调用成功了,“Epic Fury”确实出现了,但模型仍然认为它是虚构的或“未来的”。有时可以通过在系统提示中包含“现在是2026年x月x日”来解决,但这是一个本不必要的变通方法。
相似文章
大语言模型在不信任输入数据时是否会犯更多错误?
本文分析了大语言模型对提供上下文的忠实度如何取决于其感知的合理性,使用多种语言的事实性、反事实性和虚构性RDF三元组。研究发现上下文-记忆冲突较弱,并强调LLM判断者的选择可能高估其强度。
大语言模型如何构建虚构世界:AI生成创意叙事中的设定与叙事空间
本文分析了大语言模型在AI生成创意叙事中运用的世界构建策略,通过将其与人类创作的虚构作品进行比较,发现模型过度产生'感知空间',而人类更倾向于使用'行动空间'。
LLM的未来发展方向
文章讨论了为何LLM无法从用户交互中学习,且缺乏确定性的真值层,提出动态知识图谱可以减少幻觉并在医学等高风险领域提升性能。
机器的内部时钟:大语言模型是否共享人类的时间错觉?
本文探讨大语言模型是否表现出类似人类的时间错觉,通过在叙事基准上进行测试,发现大语言模型经常选择与心理学文献一致的场景,而不是模仿人类的感知。
LLMs知道自己何时出错。我对Anthropic的新“全局工作空间”论文进行了一项修复 [R]
作者提出了一种方法,通过使用中间层状态的线性探测器和一个小型训练桥接器将置信度对数进行校准,使LLMs能够表达校准后的置信度,仅需200个标注样本,无需修改权重。这与Anthropic的全局工作空间论文相关,该论文解释了“知道-说出”差距。