标签
斯坦福研究者用 20 个新模型重新测试了 50 项被广泛引用的 LLM 结论，发现 44% 已失效、34% 明显减弱、仅 16% 仍成立，表明 LLM 研究结论的‘保质期’可能只有约 15 个月。
一篇新的预印本研究检验了将同一论点归于不同来源（相关领域专家、无关领域专家、非专家或不注明来源）是否会改变大语言模型对其的评价。研究发现，可信度评价对来源高度敏感，而且将论点归于无关领域的专家，实际上可能使其可信度低于不注明来源的情况。
该论文提出了 SERIAL-7，这是一个韩英双语基准，配备可执行验证框架，用于评估大语言模型在七种表示形式和 43 项原子约束下推导、生成和保持机器可验证输出的能力，揭示了十个模型在结构化生成可靠性方面的显著差距。
该论文评估了大语言模型智能体能否可靠地构建完整、可执行的 JSON 规范，用于自动化设置偏微分方程（PDE）仿真（几何建模、网格划分、求解、导出）。结果表明，包含科学性检查和澄清环节的完整工作流程可使规范生成的正确率达到 98.3%，而借助模式（schema）辅助的单次生成基线和仅使用模型的基线正确率分别为 92.5% 和 82.5%。
该论文研究在单一人类注意力有限、多个 AI 代理并行执行任务时，代理应在何时自主搜索信息、何时向人类请求澄清，并提出成对协调策略（PCP），在合成基准与大语言模型案例研究中显著降低成本。
该论文提出了 P-ContextBench，这是一个可扩展的基准测试框架，通过构建以人口群体数据为依据的合成人物画像，并将其嵌入碎片化的移动应用使用轨迹中，评估大语言模型在个人情境理解方面的能力，包括时间追踪、模式推断以及考虑约束的行动边界识别。研究发现，最先进的模型在关键任务上的得分低于 60%。
本文提出了 SafeWebWorld，一个用于评估 Web 世界模型中“安全充分性”的基准，并表明，合理的预测、证据保留和潜在授权恢复各自都不足以支持稳健的“执行/询问/阻止”（EXECUTE/ASK/BLOCK）授权决策。
论文提出 GraphNIAH，一个基于真实引文关系自动构建的长上下文多跳推理基准，用于评估 GPT-5.6、Gemini-3、Qwen3.5 等八个大模型，发现随着推理路径加深，模型准确率显著下降甚至接近随机猜测。
该论文提出了 BlindToChange，这是一个衡量 AI 搜索智能体能否主动发现近期现实世界中影响其回答的变化的基准测试。研究发现，当请求中未明确提及这些变化时，准确率差距可达 27.5 个百分点。
Nolan Lawson 运行了一项基准测试，让 AI 智能体使用不同的 JavaScript 框架构建同一个 Pokémon 应用，测量开发时间、token 消耗、代码体积和 Lighthouse 得分。这篇文章对智能体编程时代中仅凭感觉的框架宣称提出质疑，呼吁拿出证据。
CrossSWE 提出了一个包含 171 个真实世界实例的多代码仓库基准测试，结果表明，当前的 LLM 编程智能体难以保持跨代码仓库的一致性，其中最强的模型（GPT-6.1 Sol）的 Pass@1 仅达到 58.48%，而跨代码仓库不一致问题占失败案例的 44.2%。
一位用户吐槽 Qwen3.8-Flash-Next 在通过 llama.cpp 本地运行时，面对一般性研究问题回答冗长、绕来绕去，并质疑该模型是否除了编程任务之外还能有所改进。
论文提出了“投资者的终极考试”（Investor's Last Exam，ILE），这是一个由买方投资者主导的股票研究基准，用于评估人工智能智能体在冻结信息集下的研究质量、预测准确度与模拟投资表现。结果显示，最强模型（GPT-6 Astra、Claude Opus 5.5）的研究能力较强，但预测表现仍显著不足。
Rubricon 是 Handshake AI 推出的一套流水线，无需人工标注或微调，即可自动生成并优化用于大语言模型评估和后训练的判别式评分标准。与以往的合成方法相比，其与专家评分标准的一致性提高了 9%；在训练 Qwen3.5-9B 时，HealthBench 性能提升了 4.5%。
该论文批判性地审视了 CLadder 这一广泛用于评估大语言模型因果推理能力的基准，揭示其中存在具有高度预测性的表面模式。随机森林等简单模型在该基准生成的数据集上表现良好，而商业大语言模型的表现却缺乏稳健性，这表明它们的优异成绩源于利用捷径，而非真正的因果推理。
洛斯阿拉莫斯国家实验室和 NVIDIA 的研究人员提出了一项由专家精心编制、包含 250 道惯性约束聚变问题的基准测试，用于评估大语言模型的科学知识运用能力、物理推理能力和定量分析能力。他们将前沿开源和闭源模型与领域专用模型 Prospero 进行比较，发现专业化训练能够提高得分，但关键的物理学错误仍然存在，并建议在投入进一步的专业化训练之前，先评估现有能力以及检索带来的收益。
该论文提出了 Seq@K，这是一种评估协议，用于衡量语言模型在每次失败后获得反馈的情况下，能否在 K 次连续尝试内解决问题。对 7 个基准测试和 16 个前沿模型的评估表明，该协议所揭示的模型选择格局与 Pass@K 存在显著差异。
该论文介绍了 LibStructBench，这是一个基于文档的基准，用于评估 AI 智能体重建测序文库结构和分子实验流程的能力。研究发现，前沿智能体在精确重建方面仍不可靠，且模型选择比智能体运行框架的选择更为重要。
ISTA 对 Unsloth 公布的 DeepSeek-V4.1-Flash-1017 量化对比结果提出异议，认为性能差距源于 32K 与 128K 的推理 token 预算差异，而非任何隐性的超参数调优，并邀请各方独立复现其基准测试。
Trakkr Research 对 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 引用的 1,285 条统计数据进行了测试，发现只有 40% 能追溯到得出相同结论的研究，而许多「僵尸数据」背后根本没有任何研究支撑。