benchmark-evaluation

标签

Cards List
#benchmark-evaluation

视频世界模型中的潜在预测误差何时能支持物理意外性声明?

Hugging Face Daily Papers ↗ · 2026-11-01 缓存

本文评估了冻结的视频表征,发现视频世界模型中的潜在预测误差反映的是外观和运动,而非可靠地衡量物理意外性,并提出了一个在 IntPhys2、Physion++ 和 Kubric 基准上将表征内容与误差信号分离的框架。

0 人收藏 0 人点赞
#benchmark-evaluation

CEPO:用于改进多智能体系统中提示优化的通用框架

Hugging Face Daily Papers ↗ · 2026-10-26 缓存

CEPO 是一个用于多智能体系统提示词优化的通用框架,它将共享的系统级协调与智能体专属的执行提示词分离,在四个领域的 11 项基准测试中,持续提升了四种现有提示词优化器的表现。

0 人收藏 0 人点赞
#benchmark-evaluation

可恢复性与验证器强度:无人监督智能体自我改进的两个可度量前提

arXiv cs.AI ↗ · 2026-10-21 缓存

本文提出两个可度量的前提条件——验证器强度与可恢复性,用于判断智能体平台何时能够在无人监督的情况下安全地执行自我改进步骤,并在一个已部署的平台和 τ²-bench 基准上对这两个条件进行了验证。

0 人收藏 0 人点赞
#benchmark-evaluation

推进低资源编程语言的编码能力

OpenAI Blog ↗ · 2026-10-19 缓存

OpenAI 发布新模型能力,显著提升在 COBOL、Fortran、Visual Basic 等低资源编程语言上的构建与迁移表现:GPT-6 Astra 在 MultiLangBench 20 种语言上平均通过率达 87.4%,GPT-6.1 Sol 的 COBOL 迁移准确率最高达 97.9%,且成本更低。

0 人收藏 0 人点赞
#benchmark-evaluation

HarnessPro:面向性能-成本权衡的 Pareto 优化递归 Harness 自我改进

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

HarnessPro 提出一种无标签的递归自改进方法,通过轨迹诊断与加权 Pareto 选择生成 lite/medium/heavy 三档 harness,在 Terminal-Bench 2、SWE-Bench Pro 等基准上相比 RHO 平均提升 2.0 个百分点通过率并降低 26.1% 单任务成本。

0 人收藏 0 人点赞
#benchmark-evaluation

相同上下文,不同智能体:数据智能体中语义层、编排与上下文压缩的行为研究

arXiv cs.CL ↗ · 2026-10-16 缓存

Oracle AI 和宾大的研究者对数据智能体中的三种上下文工程技术(语义层、编排、压缩)进行系统研究,发现这些技术的效果高度依赖智能体的行为分组(调查者、过早作答者、早期放弃者),某些情况下甚至会损害准确率。

0 人收藏 0 人点赞
#benchmark-evaluation

RSIFlow:基于演化元智能体的自适应递归自我改进工作流

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

RSIFlow 提出一种递归自我改进框架,通过诊断任务执行反馈动态选择组件级改进工作流,并演化元智能体以优化编排能力,在六个基准上达到 SOTA 平均性能。

0 人收藏 0 人点赞
#benchmark-evaluation

超越语义相似性:面向复杂任务的智能体式检索的性能与成本

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

本文研究了将 LLM 推理与密集检索器相结合、通过 ReAct 循环完成复杂检索任务的智能体式检索方法。实验表明,该方法在 nDCG@10 上比标准检索提升 8.7 分,并在 ViDoRe v3 和 BRIGHT 排行榜上展现出良好的泛化能力,但代价是每条查询平均耗时 107.4 秒、消耗 764K 输入 token。

0 人收藏 0 人点赞
#benchmark-evaluation

质疑问题本身:维持推理模型的自我进化

Hugging Face Daily Papers ↗ · 2026-10-03 缓存

论文揭示了自我进化推理模型性能崩塌的原因——无效问题与数学上等价的问题重复,并提出 R-Quest,利用有效性与新颖性反馈来维持自我进化,在 12 个基准上经过十轮迭代后,比 R-Zero 高出 17.32 分。

0 人收藏 0 人点赞
#benchmark-evaluation

Kepler:面向 ARC-AGI-3 的可审计世界模型

arXiv cs.AI ↗ · 2026-10-02 缓存

Kepler 是一个面向 ARC-AGI-3 的开源框架,它将假设表示为可执行的世界模型,并通过回溯性的状态转移与预测检查对其进行验证,在冻结的 Claude Opus 5 配置下,于全部 25 个公开游戏上取得了经服务器验证的 100.00 RHAE。论文同时报告了三类评估失败——源代码泄露、框架重构以及自主修复掩盖了失效的规划器——并指出仅凭公开集分数其鉴别力有限,因此主张采用首试成绩、成本条件化以及验证感知的报告方式。

0 人收藏 0 人点赞
#benchmark-evaluation

JevSpawn:通过组合式动作空间实现自适应智能体推理

arXiv cs.AI ↗ · 2026-10-02 缓存

JevSpawn 提出一种组合式策略,将自然语言任务描述映射为有限概率探索,通过并行动作生成与基于反馈的分支选择,在无需额外训练的情况下加速并提升大语言模型智能体的推理性能;该方法在八项基准任务上与七种基线方法进行了对比评估。

0 人收藏 0 人点赞
#benchmark-evaluation

相同输出,不同标准答案:衡量参考答案的选择如何影响多语言基准测试得分

Hugging Face Daily Papers ↗ · 2026-10-02 缓存

该论文研究了参考答案(gold reference)的选择对多语言基准评测分数的影响,发现交换参考标注可使F1分数移动数个点,并揭示了一个未记录的标注聚合默认设置导致参考答案与被评输出部分重合的问题,提出应将参考敏感性区间与分数一同报告。

0 人收藏 0 人点赞
#benchmark-evaluation

## 关键词式防护失效时会默认放行:为小语言模型的工具调用声明搭建低成本诊断阶梯 > **Keyword Harnesses Fail Open** — 关键词式防护(Keyword Harness)在防护逻辑本身失效时,往往不是「报错并停止」,而是「默认放行(fail open)」。因此,用关键词命中作为判据,会系统性地夸大小型语言模型的工具调用能力。本文提出一条**低成本诊断阶梯**:从最廉价的静态检查开始,逐级加码,逐步剥离关键词与提示词泄漏造成的假象,最终判定模型究竟是否真的在调用工具——以及它是否只是在复述关键词。

Hugging Face Daily Papers ↗ · 2026-10-01 缓存

论文表明,关键词匹配基准测试可能会将小语言模型并不具备的工具使用能力归功于它们;文章记录了一例针对同架构西班牙语安全 LLM 的误报,并提出了一种成本低廉的诊断阶梯,以及一份有针对性的 SFT 配方,用于修复出问题的 1B 模型。

0 人收藏 0 人点赞
#benchmark-evaluation

通过跨框架适配实现检索增强的技能优化

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

该论文提出 RASO(检索增强技能优化)框架,通过 Cross-Harness Adaptation 从外部技能语料库中检索先验知识来初始化和迭代优化 agent 技能,在四个 agent 基准和两个模型上显著优于无检索增强的基线方法。

0 人收藏 0 人点赞
#benchmark-evaluation

TW3Cast:一个基于轻度微调基础模型的冻结路由器,用于GIFT-Eval上的时间序列预测,完全基于训练集划分选择

arXiv cs.AI ↗ · 2026-09-25 缓存

本文介绍了TW3Cast,一个时间序列预测系统,它使用基于轻度微调基础模型的冻结路由器,在GIFT-Eval基准上取得顶尖性能,且无需代理或语言模型

0 人收藏 0 人点赞
#benchmark-evaluation

两个Emojis之差:多语言情感生成基准测试到底在测什么

arXiv cs.CL ↗ · 2026-09-25 缓存

本文审计了多语言情感生成基准测试,揭示系统排名由测量伪影而非真实性能差异驱动,标注者变异性在其中扮演关键角色。

0 人收藏 0 人点赞
#benchmark-evaluation

@xeophon: 追赶前沿

X AI KOLs Timeline ↗ · 2026-09-21 缓存

Vals AI 对 Grok 4.7 进行了评估,发现其在 Vals 指数中排名第 24,得分 54.2%,较 Grok 4.6 下降,但在法律和医疗领域显示改进。

0 人收藏 0 人点赞
#benchmark-evaluation

将视觉语言模型的智能迁移至机器人控制

Hugging Face Daily Papers ↗ · 2026-09-19 缓存

本文提出了RoboDawn,一种将视觉语言模型智能迁移至机器人控制的方法。该方法通过零样本和单样本学习在基准测试中取得了先进结果,并在真实世界应用中验证成功。

0 人收藏 0 人点赞
#benchmark-evaluation

rohanpaul_ai:耶鲁大学及其他顶尖实验室的新论文显示,前沿模型已接近突破当今封闭式物理...

X AI KOLs Following ↗ · 2026-09-16 缓存

一项耶鲁大学主导的论文发现,前沿AI模型在物理基准测试中表现不佳,主要是由于基准测试的缺陷,而非模型本身的局限性,这表明基准测试质量是准确评估的关键瓶颈。

0 人收藏 0 人点赞
#benchmark-evaluation

CLEAR: 面向医学大语言模型的跨源证据裁决框架

arXiv cs.AI ↗ · 2026-09-16 缓存

本文提出CLEAR,一种用于跨源证据裁决的代理框架,旨在通过处理来自多个知识源的冲突来提升医学领域大语言模型的性能。该框架在多个基准测试中表现出竞争力,在直接推理或检索能力较弱的场景中取得了显著提升。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈