evaluation

介绍 VGI-Bench，这是一个多模态基准测试，通过 550 个人工策划的问题来评估 12 种不同的视觉和视听技能，旨在暴露当今视频基准测试中的不足。

Ai2推出了TutorMoments，一个基于回放的评估框架和数据集，用于衡量大语言模型在1对1数学辅导中能否平衡何时提供帮助与何时放手。初步结果显示，模型倾向于过度帮助，而提示工程只能部分缩小与人类导师的差距。

文章认为，AI Agent框架（如LangGraph、CrewAI等）的选择对生产环境可靠性的影响不如评测（evals）、追踪（tracing）和护栏（guardrails）重要，并为构建Agent技术栈的开发者提供了实用建议。

LabyrinthBench是一个本地化、无需裁判的LLM基准测试，能够确定性地衡量多步骤智能体任务中干扰下的上下文记忆。初步实验表明，清空上下文并重新注入门控答案对9个模型中的7个有帮助，但对2个适得其反，凸显了上下文管理策略的复杂性。

文章认为，最大的AI转变不是更大的模型，而是围绕它们的更好系统，例如上下文、模型路由、缓存、代理工作流和评估，使模型成为引擎，系统成为产品。

The article argues that Nix evaluation is fundamentally a scheduling problem and introduces Evix, a library-first async Nix evaluation engine designed for persistent, structured evaluation results.

本文提出在不执行昂贵 Rollout 的情况下预测 LLM 智能体的任务难度，在 17 个智能体基准上研究该问题，并表明 token 级熵是一种有用的预测信号。

本文提出了一种新方法，通过让 LLM 随机生成数字来测量其潜在的数字偏差，并据此修正 token 生成概率，从而缓解 LLM-as-a-Judge 中的评分偏差。在四个任务上的实验表明，该方法优于基线方法，并揭示了评分偏差在不同模型、任务和分数区间上的差异。

本文提出了一个以人类为基础的框架，用于衡量开放任务中LLM生成内容的分布广度（文化覆盖面），引入了LLM覆盖率（LLM Coverage）和边界内比率（In-Boundary Rate）两个指标。实验表明，当前的LLM生成的内容合理但狭窄，集中在人类回答空间的中心附近。

本文测试了在一次调用中生成证据并将其作为后续裁决的唯一输入（证据锁定）是否会改善或损害LLM-as-Judge评估。在24,000次判断中，他们发现，与结构化单次调用评判相比，证据锁定将人类偏好一致性降低了4到6个百分点，并增加了答案顺序不一致性。

介绍PoolBench，一个在仅解码器LLM概念表示中隔离池化策略的基准，跨17个概念和3个模型评估19种策略，为比较池化选择提供标准化协议。

This paper presents a triple-robustness analysis of RAG for multi-hop traceability, varying embedder, corpus, and judge across thousands of runs. It finds that over-citation is architecturally universal in GraphRAG but its faithfulness consequences are corpus-conditional, and LLM-as-judge faithfulness is fragile across retrieval states.

本文介绍了EcoAgent-Bench，一个包含304个任务的基准测试，用于评估LLM代理在明确预算和定价操作下的经济决策，测试五个任务族中的四种与成本相关的决策。

本文介绍了教学适宜性指数（PSI），这是一个综合指标，用于评估和改进基于LLM的AI导师如何使回答与学习者的准备程度和课程进度保持一致，并表明PSI引导的反馈能够改善薄弱的教学案例。

介绍了C$^3$PO，一个包含3,404个样本的基准测试，用于评估多模态LLM中的跨模态组合与反事实推理。研究发现模态主导性导致了大多数失败，即使最佳模型（Gemini-3.1-Pro）也远低于人类准确率。

OrchestraBench 是一个新的基准测试，用于评估多智能体编排框架在故障模式、恢复和分解质量方面的表现，通过故障注入和级联半径指标来诊断流水线在何处以及为何失败。

This paper introduces LUNAR, a benchmark for evaluating how large language models personalize responses from longitudinal app interaction histories across daily-life domains such as clothing, food, housing, and mobility. Experiments on 19 mainstream LLMs reveal that effective personalization depends on evidence selection and cross-domain integration, and that stronger personalization can come at the cost of privacy protection.

一位开发者在AI智能体内对13种搜索API配置进行了基准测试，发现读取负载的隐藏token成本可能占据总账单的大部分，而且不同提供商之间的差异高达67倍。

Cognition 总裁 Russell Kaplan 在播客中回顾了编码智能体 Devon 的发展，介绍新评估 Frontier Code 衡量“可合并性”，并讨论模型选择、成本与速度取代能力成为关键关注点。

This paper introduces STRIVE, an LLM-based framework for jointly generating and evaluating controlled event sets for psycholinguistic plausibility judgments. Experiments show that adding a global reasoning scratchpad and evaluator-guided refinement substantially improves generation quality, though near-boundary events remain challenging.