benchmark

该论文介绍了 EDB-Bio，这是一个包含 9.6 万个回合、涵盖三个生物学领域的科学证据审议基准。结果表明，前沿模型和开放权重模型普遍倾向于置信度不足（布里尔分数接近仅依据基础发生率进行预测的简单模型），而使用适当评分规则进行后训练可改善校准，由此得到的 Ibis0 模型在序贯实验选择中的效率达到最佳前沿模型的 2.5 倍。

用户分享观点，认为 Claude Opus 5.5 的 High 模式优于 XHigh 模式。

SemiAnalysis 正式推出 GDPx，这是一项前沿水平的基准测试，用于衡量智能体在最具经济价值的各个领域中的能力，即使是目前最优秀的模型，得分也仅为 12%（1/7）。

DR Pixel 是一个开源的端到端多模态深度研究智能体，直接基于渲染后的文档页面图像进行检索和推理，而非使用 OCR 提取的文本，并引入反事实贡献重加权方法，用于智能体监督微调。该方法在 GPT-5.4 和 Gemini-3.5-Flash 等模型上，在 DRPixelBench 中的表现优于基于 OCR 的基线，训练后将检索召回率提升约 15 个百分点，准确率提升超过 10 个百分点。

humans& 推出 &Tutor——一个以 Persimmon 作为模拟学习者进行对练训练的教学模型，在 TutorMoments 基准测试上取得了最先进（state-of-the-art）的结果，在普通提示（plain prompting）下表现优于 Claude Sonnet 5.5 和 GPT-6 Astra 等前沿模型。

Moralitybench.ai 已更新，新增了 20 个 AI 模型分别对 56 道标准化道德心理学问题各作答五次的结果，其中包括新的电车难题变体，另有两项 DIT-2 测试尚待完成。

Meta 和纽约大学的一篇新论文表明，h1 这一为模型提供快速 Lean 反馈和搜索工具的简单智能体循环，能够匹敌甚至超越人工设计的定理证明工作流：它以更低的成本在 PutnamBench 上超过了 Goedel-Architect（解出 598 题，后者为 597 题）；搭配 Opus 4.8 时，它解出了 100 道高难度代数题中的 83 道，而 Claude Code 解出了 63 道。

作者测试了 Liquid AI 的 LFM3-1.7B 模型（Q8_0 GGUF 格式，通过 llama.cpp/ROCm 运行），用于压缩和摘要任务。测试结果显示在 Strix Halo 以及 7900 XTX+XT 张量拆分配置上具有出色的预填充/解码吞吐量，并且作为一个 1.7B 模型，在 32k-64k 上下文长度下表现出乎意料的连贯性。

IBM研究人员提出了STAIR，一种利用文档目录进行结构化检索的检索器，在SearchTome基准上达到82.6%的top-1章节准确率，无效章节引用比微调DSI基线少65倍。

Nolan Lawson 运行了一项基准测试，让 AI 智能体使用不同的 JavaScript 框架构建同一个 Pokémon 应用，测量开发时间、token 消耗、代码体积和 Lighthouse 得分。这篇文章对智能体编程时代中仅凭感觉的框架宣称提出质疑，呼吁拿出证据。

CrossSWE 提出了一个包含 171 个真实世界实例的多代码仓库基准测试，结果表明，当前的 LLM 编程智能体难以保持跨代码仓库的一致性，其中最强的模型（GPT-6.1 Sol）的 Pass@1 仅达到 58.48%，而跨代码仓库不一致问题占失败案例的 44.2%。

分析显示，Grok 4.20 在 PokeBench 的《宝可梦 红》基准测试中被困在房子附近长达数百回合。尽管其自身的推理日志正确识别出已陷入循环，它仍无法脱困，引发了关于视觉与规划能力瓶颈的讨论。

该论文提出了教程式智能体学习（Tutorial Agentic Learning，TAL），这是一种非参数持续学习范式，通过构建结构化的教程书记忆和与推理关联的目录检索机制，使大语言模型智能体能够从教学视频中学习。此外，论文还提出了国际象棋视频问答基准 VidLearn，TAL 在该基准上的表现显著优于原生多模态大语言模型（MLLM）。

Memdoor 是一个轻量级编码与自动化代理工具，以单一静态二进制 CLI 形式提供，支持本地运行或通过 SSH 连接远程机器，并内置九种 GitHub Actions 工作流；据称其由 5 个 Qwen3.8-27B 模型组成的团队在 LiveCodeBench Hard 基准上超越了 Fable 5。

GPT-5.6 Sol 在 Codex 中以低思考量运行，自主完成了和平模式的 Factorio 游戏，在 13.5 个游戏内小时内发射了火箭。它通过一个模拟人类 GUI 操作限制的 Python 游戏管理库完成操作，相比之前的 GPT-5.5 尝试有明显进步。

LlamaIndex 发布了 BooBench，一个有趣的 179 页万圣节主题基准测试，通过"吓唬"大模型和文档 OCR 工具使其输出重复字符，暴露出视觉语言模型在面对带有引导点、涂黑标记等重复元素的真实文档时会陷入重复循环的失败模式。

一篇帖子分享了 Hugging Face 上的 Groot MoE 模型家族（包含 19B、65B、238B 和 280B 版本），声称 19B 模型的表现优于 Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B，同时回答更简短；后续编辑补充称，这些模型似乎是基于 REAP 对 DeepSeek/Qwen 模型进行改造而来的。

一份实用、基于证据的 GPT-6 Astra 现实应用指南，将其在 Scale AI SEAL 基准测试的 12 个类别中的表现与项目建议、优势、局限性，以及更适合选用 Claude Fable 5.1 等替代模型的情形相对应。

作者测量了有损推理引擎标志（路由偏置和尾部跳过）对模型质量的影响，结果表明：在显存充足的情况下，出厂默认设置会导致约 1.5 个准确率点的损失，而在小显存显卡上损失约为其 3 倍；若采取过于激进的设置，则会产生看似自信实则胡言乱语的输出。

一位律师兼 PLI Labs 创始人公布了完整的基准测试数据：在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017（2.75 bpw EXL3），并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型，在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度，结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开，作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。