@FinanceYF5: 很多关于 LLM 的“常识”，保质期可能只有 15 个月。 斯坦福研究者用 20 个新模型，重新测试了 50 项被广泛引用的结论： 44% 已失效，34% 明显减弱，只有 16% 仍然成立。 编造引用、幻觉和刻板印象正在减少，但迎合用户和…

X AI KOLs Following 论文
llm-evaluation research-reproducibility stanford hallucination benchmark-drift language-models

摘要

斯坦福研究者用 20 个新模型重新测试了 50 项被广泛引用的 LLM 结论，发现 44% 已失效、34% 明显减弱、仅 16% 仍成立，表明 LLM 研究结论的‘保质期’可能只有约 15 个月。

很多关于 LLM 的“常识”，保质期可能只有 15 个月。 斯坦福研究者用 20 个新模型，重新测试了 50 项被广泛引用的结论： 44% 已失效，34% 明显减弱，只有 16% 仍然成立。 编造引用、幻觉和刻板印象正在减少，但迎合用户和政治立场偏左依然存在。 研究 AI，模型版本和测试日期可能与结论本身同样重要 https://t.co/HnWPTxhdf8
查看原文
查看缓存全文

缓存时间: 2026/11/03 10:23

很多关于 LLM 的“常识”，保质期可能只有 15 个月。

斯坦福研究者用 20 个新模型，重新测试了 50 项被广泛引用的结论：

44% 已失效，34% 明显减弱，只有 16% 仍然成立。

编造引用、幻觉和刻板印象正在减少，但迎合用户和政治立场偏左依然存在。

研究 AI，模型版本和测试日期可能与结论本身同样重要 https://t.co/HnWPTxhdf8

相似文章

LLM 能预测机器学习实验的结果吗？

arXiv cs.LG

该论文构建了包含2882个LLM提出的ML实验想法的数据集，评估五个前沿大模型预测实验结果的准确性，发现最佳模型Claude Opus 5.5仅解释约一半方差（R²=0.49），且所有模型都系统性低估了变化幅度，表明当前LLM对ML想法的直觉有用但有限。

@FinanceYF5: Google新论文：让LLM解数学竞赛题，正确率从10%跳到70%。 【LEAP框架】不让模型一次写完整证明，而是把问题拆成目标树，边做边从Lean验证器的反馈里学，复用已证过的引理。 结果：Putnam 2025全部12题解出，IMO风…

X AI KOLs Timeline

Google新论文提出LEAP框架，将数学问题拆解为目标树，利用Lean验证器反馈进行学习，使LLM在数学竞赛题上的正确率从10%提升至70%，解决了Putnam 2025全部12题，并在IMO基准上超越专用金牌级系统。