标签
本文提出了一种通用风格感知全双工框架，包含一个轻量级的轮换控制器LPS-TC；引入了一个大规模数据集WildTurn，用于真实世界对话；并提出了一种两级评估方案，以增强对话系统中的主动语音交互和响应质量。
E-Commerce Bench是一个开源基准，用于评估LLM代理在电子商务中长期自主业务运营的能力，特色包括多店铺谈判和模拟一年内的动态事件。
本文提出一种用于药物发现代理AI的LLM-as-a-Judge评估框架，通过专家标注者的人类对齐研究验证。优化法官模型以提升与人类判断的契合度，并为科学领域可重用评估提供洞见。
本文提出了一个多标准框架来评估社会技术干预，以虚假信息为案例研究，揭示了有效性、用户接受度和实施可行性之间的权衡。
本文提出了 Schrödinger Repo，一个用于编码代理的评估框架，它动态实例化仓库以解决基准测试中的数据泄露问题，表明当前的 LLM 可能依赖于记忆的线索。
本文提出MAVEN，一个用于评估多模态内容宏观社会价值的分层框架，包含一个基准测试和优化评估器，以实现可扩展评估。
本文介绍了MÖVE，一个针对德国公共部门LLMs的整体评估框架，考察了能源消耗、提供商透明度和德国政党立场知识等治理维度，揭示了需要根据具体上下文选择模型的权衡。
本文介绍了MuseCPEval，这是一个包含定制化指标的框架，用于评估音乐编辑系统在音色转换和风格转换等任务中保持未改变音乐属性的能力。
本文介绍了WitnessSim，一个使用可控法律角色扮演的证词模拟器，以及一个用于评估法律模拟中行为真实性的评估框架。
本文提出了一种基于扩展假说的框架，用于评估网络安全中的代理学习框架，无需标签基准，通过师生模型代理性能改进。
本文系统评估了七个前沿AI智能体在长期任务上的表现，发现它们更像是工程优化器而非自主研究者，并提出了改进训练和经验管理的建议。
介绍了一种面向操作点的自适应数据清洗评估框架，用于纠正移除预算混淆。在 CIFAR-10 和 ImageNet-100 上的实验表明，当操作点匹配时，表面上的性能提升会消失，这表明许多改进反映的是更小的移除预算，而非真正的损坏判别能力。
smevals is an open-source framework for running evals against small and large models, with a structured vocabulary for tasks, configs, runs, and graders, plus a CLI for execution and grading.
本文介绍HumanCLAW评估框架，该框架将动作决策与底层执行解耦，用以评估视觉-语言模型能否通过物理身体行动。在41个场景的1218个试验片段中测试了九种最先进的VLM，最佳模型成功率仅为16.8%，表明当前VLM缺乏具身自我意识。
本文介绍了 Elenchos，一个用于 LLMs 溯因推理的生成式评估框架，其中模型必须在黑箱访问下从行为差异中推断隐藏的规则变化。研究发现存在检测-归因分离：模型能够检测到改变，但难以识别具体的突变，尤其是在交互突变下。
RouteRec是一个用于在成本约束下评估请求级硬选择与项目级学习聚合异构推荐智能体（包括LLM重排序器）的框架。在MovieLens-1M上的实验表明，项目级聚合显著优于请求级选择。
本文介绍了TradeLens，一个基于轨迹的诊断工具包，用于评估基于LLM的自主交易系统是否将其推理和工具使用成本转化为可衡量的增量利润，并分析了DeepSeek-V3.2和GLM-4.7等模型的失败模式。
本文提出了一个黑盒评估框架，用于评估大型语言模型从结构化技术文档生成设计结构矩阵（DSM）的能力。该框架引入了可复现的度量指标和复合质量评分，结果表明，虽然LLM能够生成看似合理的DSM，但它们仍然对歧义和提示措辞敏感。
Replit AI 负责人分享生产级 Agent 持续学习系统的工程实践，将改进拆分为 Model、Harness、Context 三层，并构建离线验证与在线 A/B 测试的闭环，使 Agent 能在不更新模型的情况下持续优化。