evaluation

提出 RIVER 框架，将 LLM 多智能体交互分解为原子主张，评估收敛、探索与保留三个信息动态维度，并在 40 个新闻生成案例上比较五种交互策略的信息流动机制。

论文提出 SAGE——一个统一的10候选图像选择基准，将 VWSD、VerSe 和 WikiDiverse 重构为共享的词项中心协议，并提出训练无关的释义增强推理（GAR）框架，使用 Gemma3-12B 将 Hits@1 从 65.90 提升至 71.22。

这篇 arXiv 论文研究如何在分布层面将大语言模型的输出分布与人类参考分布对齐，并评估这种对齐在未见过的问题上的泛化效果。研究发现，同域泛化有效，但跨主题泛化不稳定，且可能削弱模型能力。

本文介绍了图式连贯性量表（SCI），这是一种包含96个强迫选择题项的心理测量工具，用于衡量赋予经人格设定的语言模型的信念是否真正组织了其认知，而非仅仅诱发某种情绪。该工具已在107种条件和五种模型骨干架构上得到验证。

SOMA 是一个新的多模态模型细粒度第一人称身体动作理解基准，包含 1,632 道人工核验的问题，对 37 个 MLLM 进行评测。人类达到 68.5% 的准确率，而表现最好的模型 Qwen3.6-27B 零样本仅达到 50.0%，揭示了身体动作推理方面存在的显著差距。

Co-Design Bench 是一个基准测试，包含 273 项来自真实用户的多模态编程任务和 2,331 条专家验收标准，采用先评判后反驳的协议，对 10 个模型端点上的智能体进行评估。其中，表现最佳的端点（gpt-6-astra）通过了 69.9% 的验收标准，但仅完全满足了 26.4% 的任务要求。

论文提出IEC框架，研究语言模型在受控指令负载（如无意义的单词替换规则）下的行为与性能退化，揭示了规则数量、替换密度、规则位置等因素遵循的数学规律，并在GPT-4o mini上验证，为模型建立可复现的"能力护照"。

对 DeepSeek V4.1 Flash-1017 在 34 项基准测试中的独立安全评估发现，其安全性较先前版本有显著提升，并已接近领先的闭源模型水平。评估建议采用过程级可观测性、增量式安全测试和非公开基准测试，以应对失控和有害操纵风险。

该论文分析了基于结果奖励的强化学习（Outcome RL）对大模型数学与物理推理能力的影响，发现 pass@1 的提升主要来自更快完成回答（完成度）和更高的可靠性，而极少带来真正解决新问题的能力（能力边界）。

Omni-InteractScope 引入了一个包含1,479条人工标注交互、涵盖八大任务组的基准，用于评估全模态大语言模型在连续视听流中能否可靠地实现及时的工具调用、无需查询的提醒以及持续引导，结果发现当前模型距离目标差距甚远。

一篇关于大模型时代可信递归自我改进（RSI）的综述，从改进有效性、约束保持与有效监督三个视角组织了自我改进中的风险、保障措施与评估框架，并讨论了开放研究问题。

iPrefBench 是一个以用户为中心的基准测试，用于评估个性化移动智能体在带有模拟用户的可执行 iOS 环境中，能否从活动历史中推断缺失偏好或主动请求澄清。对 7 个前沿智能体的评估显示存在较大差距：动作完成率高（最高达 91.6%），但完整任务成功率低（最高仅 47.7%），智能体尤其难以主动请求必要的信息。

该论文提出了一个统一的"工作智能体"（work agents）框架，将基础模型与运行时框架结合以可靠执行复杂数字任务，引入持久性与开放性两个维度，并系统分析能力族、模型与框架优化及评估方法。

该论文将生成模型的推理 effort 视为'信任品'，通过反事实实验量化不同 effort 级别对成本与准确率的影响，发现从低 effort 起步、失败后再升级的策略在多数模型和基准上以更低成本达到或超过固定最高 effort 的效果。

论文引入了“记忆收益”与“记忆税”的框架，用以衡量专用智能体记忆系统相对于朴素RAG的净价值，发现许多记忆系统在多个基准测试中的表现反而不如直接检索。论文分析了记忆处理过程如何移除或遮蔽证据，并呼吁评估记忆的净价值，而非其单独的性能表现。

AgentProofBench 提出了一个面向网页智能体可复用验证的基准，将固定的验收规则与执行轨迹关联起来，覆盖四个网络服务上的 97 项任务和 79 个任务族，并使用 DeepSeek Flash/Pro 建立了程序门控正确性和复用方面的基线。

AdaPRA 引入了一个持久化的编码代理框架，采用自适应评分标准引导的过程监督，在多次尝试之间累积知识，将 80B Qwen 模型在 DSPredict-Easy 排行榜上的百分位提升 24.5 点，在 DSPredict-Hard 上提升 14.8 点，同时减少了数据科学代理中的过程错误。

RSIHub 是一个开源框架，为智能体进化（agent-evolution）研究提供可组合的共享基础设施，标准化方法的构建、比较与扩展，并在 Terminal Bench 2 和 τ3 Banking 上评测了 AHE、Hyperagents、A-Evolve 和 GEPA 等方法。

该论文提出 CRM-Agent-Bench，一个基于执行的基准，包含 555 个有状态多轮任务，用于通过严格的契约检查评估工具使用型语言代理在九个企业业务领域中的结果、轨迹、可运行性与合规性；在十六个系统上评测中严格成功率介于 64.32% 到 83.60% 之间。

一项公开基准测试让13个AI模型参与模拟全科问诊（针对5个人工编写的病例，共运行195次）。结果显示，模型几乎总能给出正确诊断，但在病史采集、安全性和恰当检查方面的表现差异很大（27%–85%），还出现了给青霉素过敏患者开具青霉素等明显失误。测试结果、对话记录和代码均已公开，相关论文计划发布于arXiv。