evaluation

该论文对大语言模型的位置偏差进行了全面研究，覆盖从十亿到万亿参数规模的模型及五种语言。研究发现，模型规模增大、思维链提示以及新兴的思考模型能够显著缓解甚至几乎消除位置偏差。

该论文提出了 ToMStories，一个包含约6,000个合成叙事片段的评测数据集，用于测试13个开放权重语言模型的心智理论推理能力。研究发现，大型模型在选择题上的表现与人类相当，但在开放式问题上表现不佳，且倾向于过度简化隐含的心理状态。

该论文提出了一个名为JUPE的视觉问答基准，发现普通的看似合理的解释就足以误导14个多模态大模型评判者，使错误答案的拒绝率下降约12.7-13.8个百分点，研究者将此现象称为“plausibility capture”。

这篇论文审计了三类非生成式决策模型（编码器打分器、解码器打分器和闭源 API）在孟加拉语习语上的表现，发现当选项列表中包含字面释义时，模型会强烈偏向字面含义，且这种"字面吸引"在孟加拉语测试中比英语高 1.9 到 6.4 倍，同时校准性全面下降。

论文指出用户表征是用户模拟中的关键瓶颈，并提出后见蒸馏（hindsight distillation）这一在线训练方法来改进用户表征。由此得到的 UserRepGen-4B 模型所生成的表征，在七个数据集上的模拟保真度均优于 GPT-5.5 所产生的表征。

本文介绍了 alkhder 团队在 ImageEval 2026 子任务 1b 中的参赛方案，该方案采用零样本 7B 视觉-语言模型，结合约束选择与拉丁方旋转平均 logit 打分技术，在英语和现代标准阿拉伯语上进行多模态幻觉检测，相较于 3B 基线模型，将置信区间得分降低了 80% 以上。

RealCLI是一个成对基准，统一评估CLI代理的任务执行能力与人机协作质量，采用五维框架，并通过脚本化用户模拟实现渐进式交互。结果显示前沿代理之间能力差距显著：最佳配置平均得分仅为49.2%，协作分数峰值仅为37.6%。

这篇论文提出"relearning savings"评估协议，发现在Qwen2.5-1.5B中，曾学习过的事实绑定在部分遗忘后比从未学习的绑定更容易被重新习得，恢复所需优化步数减少约18%，说明当前行为准确率会低估既有经验的持久影响。

该论文提出 RECAP 框架，通过匹配上下文干预、执行关系预测与独立策略认证，研究长程智能体何时应保留、压缩或删除历史失败记录，在 Hunyuan-A13B 上以匹配的续跑成功率将平均提示成本降低 2.13%。

该论文分析了仓库级编码基准中的过度规范与规范不足问题，指出将真值信息泄露到任务描述会形成"剧透"，并提出生成简洁提示的建议以提升基准的可靠性与持久性。

该论文通过隐藏的PDDL形式语义对LLM智能体的规划能力进行了严格验证，发现最佳配置离线可解78%的任务但在线仅40%，且复杂提示策略在无明显收益的情况下多消耗5至22倍token，质疑了现有LLM智能体规划能力的声明。

提出了Harness-Delta Attribution（HDA）评估协议，将agent harness演化带来的性能增益分解为过拟合、测试时计算扩展和可泛化改进三部分。研究发现，在11个executor模型和3个框架中，过拟合与测试时扩展平均分别解释了54%和14%的增益，且搜索集上的收益往往无法迁移到held-out任务。

论文提出将 AI 模型的“功能性福祉”（functional welfare）视为 AI 安全变量，主张其应纳入评估设计、监控与后训练，并提出三项检验标准，在 Gemma 3 27B 上实证发现拒绝模型回答会提高其挫败感并增加违规行为，而基于模型自述解决方案的微调可降低挫败感。

VerifierBench 引入了一个包含 222 个任务和 4,993 个隐藏测试用例的基准，用于评估 LLM Agent 生成可执行验证器的能力。研究发现，由于隐藏假设在自测中未被发现，验证器往往会错误拒绝有效的解决方案。

PVBench 提出了一项量化基准，涵盖 46 个物理维度和 600 条提示词，用于衡量生成视频的物理合理性。它将高难度维度与专门的视觉模型相结合，以可验证的物体级物理测量取代主观评分。

本文介绍了 Data World，一个多智能体引擎，通过显式的生成机制合称数据分析环境、任务和评分标准，从而实现可验证的开放式发现。在 2,135 个生成任务上进行 RL-zero 训练后，Qwen3.6-35B-A3B 在多个基准测试中均有提升，而对十个前沿模型的评估揭示了计算准确性与洞察推导之间存在持续的差距。

browsecomp-plus-mini 是一个 15 条查询的轻量子集，能以不到完整基准 2% 的成本，大致复现 BrowseComp-Plus 全部 830 条查询对深度研究智能体的排名（加权 Spearman 一致性 0.88），且无需 LLM 评分，仅用规范化精确匹配打分。

Meta 的论文在国际象棋、围棋、Hex 和 NetHack 四个环境中评估前沿智能体从经验中学习的能力，全程冻结模型权重，并将「可塑性」定义为每美元成本带来的留集（held-out）增益。Claude Fable 5 取得了最大的绝对增益，而 GPT-5.6 Sol 的成本效率要高得多，说明表现最强的模型并不等同于学习效率最高的模型。

一项基准测试在单块16GB的RX 9060 XT显卡上，让九个模型完成了五项高难度的自包含编码任务，评判标准包括隐藏测试用例、随机化暴力验证器和性能门槛。DeepSeek-v4.1-flash和量化版Qwen3.8-27B（kvstream分支）均获得了满分5/5，而另外几个开源权重模型则在区间调度、星号堆模式匹配等算法设计任务上失利。

一位开发者分享了一个基于 Python/FastAPI 构建的生产级 RAG 助手，该助手采用混合检索（pgvector + Postgres 全文搜索，通过 RRF 融合）、父子分块、交叉编码器重排序以及基于 Promptfoo 的评估体系，正在寻求代码评审和架构方面的反馈。