benchmarking

标签

Cards List
#benchmarking

RSI Arena:迈向基于人类反馈的递归自我改进

arXiv cs.CL ↗ · 2026-10-27 缓存

RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。

0 人收藏 0 人点赞
#benchmarking

审查用于罕见病诊断的大语言模型系统中的评估伪象与数据泄漏

arXiv cs.AI ↗ · 2026-10-27 缓存

本文审查了用于罕见病诊断的增强型大语言模型系统中的评估伪象与数据泄漏问题,表明候选空间污染和时间错位会人为抬高基准测试表现,并提出了一套严格的数据隔离评估框架,以确保系统具备真正的临床稳健性。

0 人收藏 0 人点赞
#benchmarking

两种不确定性并非一回事:低成本结构化内容审核中的分歧与决策风险

arXiv cs.CL ↗ · 2026-10-27 缓存

本文在内容审核任务上,将一个成本低廉、参数冻结的“系统一”分类模型与14个前沿大语言模型进行对比评估,发现其准确率具有竞争力,而成本远低于后者,并表明“置信度”混淆了两种不同的不确定性——人类意见分歧与决策风险——而这两者需要方向相反的升级处理信号。

0 人收藏 0 人点赞
#benchmarking

面向时间序列决策的系统一模型基准评测:Jev 案例研究

arXiv cs.AI ↗ · 2026-10-27 缓存

该论文提出一个统一评估框架,使用 Jev 1.13.0 作为案例研究 Structured System 1 模型在时间序列分类、事件类型预测、油温方向及股价走势预测等任务上的表现,结果显示其在显式时间模式和事件预测上较强,但在许多数值序列分类和股票走势预测上接近随机水平。

0 人收藏 0 人点赞
#benchmarking

社会世界模型的评估差距

arXiv cs.CL ↗ · 2026-10-27 缓存

该论文审计了 1999 至 2026 年间的 113 项研究,发现只有 9 项主要评测真正测量了真实人类对系统所选行动的响应,其中仅 2 项还将显式的响应预测与实测响应进行比较;在 25 项语言模型相关工作的全文检查中没有发现符合这些条件的实验。作者提出了一套直接预测评测标准,并设计了一个用于谈判助手的单步实验来区分任务成功、当前状态推断与真实响应预测。

0 人收藏 0 人点赞
#benchmarking

EEG基础模型的受控评估:随机初始化、频带功率与基于验证集选择的探针

arXiv cs.LG ↗ · 2026-10-27 缓存

对五个公开的 EEG 基础模型和一个内部开发的 JEPA 风格模型进行的受控评估表明,随机初始化、频带功率基线以及通过验证集选择的探测层,会显著改变在睡眠、情绪和运动想象基准测试中报告的预训练增益。

0 人收藏 0 人点赞
#benchmarking

超越局部精度:偏微分方程基础模型的滚动预测可靠性基准评估

arXiv cs.LG ↗ · 2026-10-27 缓存

本文在七个二维时变偏微分方程数据集上,对七个偏微分方程基础模型的滚动预测可靠性进行了基准评测。结果表明,尽管经过微调的基础模型在短期预测中往往优于从头训练的基线模型,但全时域滚动预测存在显著的误差放大现象(中位数为2.04倍),因此主张未来的基准评测应按预测时域分别报告结果。

0 人收藏 0 人点赞
#benchmarking

以追踪为试金石:评测 AI 智能体运行框架的可靠性与故障归因能力

arXiv cs.AI ↗ · 2026-10-26

论文提出 TraceTrial-Bench,从七个维度评估 AI 智能体的运行框架可靠性,并通过轨迹追踪与失败归因模块,在 4 个运行框架、9 个模型和 95 个任务上完成了涵盖 3,420 次运行的可审计评测。

0 人收藏 0 人点赞
#benchmarking

RSIHub:一个用于智能体演化方法的可组合框架

arXiv cs.AI ↗ · 2026-10-26

提出了 RSIHub,一个用于构建、比较和扩展智能体演化方法的开源框架,通过可复用的算子与配方简化实验基础设施。论文在 Terminal Bench 2 和 τ³ Banking 上评测了 AHE、Hyperagents、A-Evolve 与 GEPA,最大 pass@1 提升达 13.5 个百分点,但方法排名随设置变化且优化收益不一定迁移到留出任务。

0 人收藏 0 人点赞
#benchmarking

解耦多语言 P(True) 自我评估中的问题语言、回答语言与验证器语言

arXiv cs.CL ↗ · 2026-10-26

该论文通过六语言析因设计,独立考察问题语言、回答语言与验证指令语言对多语言 P(True) 自评估的影响,发现三者分别影响准确率、区分度与校准,且未经验证的评判者会严重扭曲模型表现差距。

0 人收藏 0 人点赞
#benchmarking

更短不意味着成本更低:用于大语言模型生成解释的声明式动画规范与自由形式代码的受控比较

arXiv cs.CL ↗ · 2026-10-26

研究通过预注册的受控实验比较了声明式动画规格与自由HTML/JavaScript代码两种LLM生成解释的方案,发现规格虽更短,但由于推理开销增加并未更便宜、更快或更可靠,小模型的规格可靠性甚至显著更低。

0 人收藏 0 人点赞
#benchmarking

评估 DeepSeek V4.1 Flash-1017 的失控与有害操纵风险

Hugging Face Daily Papers ↗ · 2026-10-26 缓存

对 DeepSeek V4.1 Flash-1017 在 34 项基准测试中的独立安全评估发现,其安全性较先前版本有显著提升,并已接近领先的闭源模型水平。评估建议采用过程级可观测性、增量式安全测试和非公开基准测试,以应对失控和有害操纵风险。

0 人收藏 0 人点赞
#benchmarking

Mycelium:幻觉检测的元研究——溯源、类型学与粒度视角

Hugging Face Daily Papers ↗ · 2026-10-24 缓存

一项元研究,将幻觉检测作为一个受基准条件约束的测量问题进行分析,从溯源、类型学和粒度三个维度展开,并提出了一种Span Coverage F1指标,以解决跨级别标注边界不一致带来的变异性问题。

0 人收藏 0 人点赞
#benchmarking

Puget Bench 的 ARM 支持现状

Hacker News Top ↗ · 2026-10-23 缓存

Puget Systems 概述了其 Puget Bench 基准测试工具目前在 Snapdragon 和 NVIDIA RTX Spark 设备上的 ARM 支持情况,并指出,该基准测试套件已完全原生支持 ARM,但 Lightroom Classic 等宿主应用仍缺乏原生 ARM 版本。

0 人收藏 0 人点赞
#benchmarking

RSIHub:一个面向智能体进化方法的可组合框架

Papers with Code Trending ↗ · 2026-10-23 缓存

RSIHub 是一个开源框架,为智能体进化(agent-evolution)研究提供可组合的共享基础设施,标准化方法的构建、比较与扩展,并在 Terminal Bench 2 和 τ3 Banking 上评测了 AHE、Hyperagents、A-Evolve 和 GEPA 等方法。

0 人收藏 0 人点赞
#benchmarking

更多 4 张 Intel B65 的测试结果——性能提升——通过增大分块大小,flash-next vllm 中的预填充和首 token 生成时间(TTFT)改善了约 30%。以及 MPT 基准测试——还有一段展示我在 LibreChat 中实际使用它的视频。

Reddit r/LocalLLaMA ↗ · 2026-10-22

一位爱好者分享了测试结果:在配备 4 块 Intel B65 的系统上,将分块大小增至 8192 后,vLLM Flash-Next 的预填充速度提升约 30%,首 token 延迟(TTFT)缩短约 30%,并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。

0 人收藏 0 人点赞
#benchmarking

询问导演看到了什么,可能改变视觉语言模型的选择

arXiv cs.CL ↗ · 2026-10-22 缓存

本文表明,在“指挥者任务”中,要求视觉语言模型在采取行动前回答指挥者能看到哪些积木,会显著改变模型的选择,使各款 GPT 模型选择隐藏积木的比例提高 12–88 个百分点,Qwen3.8-27B 则提高 17 个百分点。作者认为,视角采择基准需要设置仅在报告问题上有所不同的配对基线,以免误读模型未能运用他人视角的表现。

0 人收藏 0 人点赞
#benchmarking

SkillEval:通过认知诊断模型学习大语言模型的可解释能力画像

arXiv cs.CL ↗ · 2026-10-22 缓存

该论文提出了 SkillEval,这是一个将大语言模型发现的可解释技能与认知诊断模型相结合的框架,用于生成大语言模型在不同基准测试中的细粒度能力画像,改进基于平均分的评估方式,并支持大语言模型路由和自适应测试。

0 人收藏 0 人点赞
#benchmarking

联合读取还是逐选项读取?从1700万到10亿参数的紧凑型封闭集决策编码器

Hugging Face Daily Papers ↗ · 2026-10-22 缓存

本文研究了用于工具选择等封闭集决策的编码器可以做到多小,发现逐选项打分优于联合打分,并且68M/150M参数的联合编码器在毫秒级响应请求的同时,性能超过了435M参数的DeBERTa-v3零样本分类器。

0 人收藏 0 人点赞
#benchmarking

KFlash:新发布的 Apple Silicon 优化引擎基准测试:1.4.0 Splash(DFlash2 ~ 50 tok/s)对比 0.2 Kapitsa(KFlash ~65 tok/s),在 Qwen 3.8 27b/4b/35b 4Q 上测试 MLX(MTP) 等,测试平台为 Macbook Pro M4 Pro 48GB 2024 和 Macbook Pro M1 Pro 16GB 2021

Reddit r/LocalLLaMA ↗ · 2026-10-21

Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码(speculative decoding)方法。该方法在 M4 Pro 和 M1 Pro MacBook 上,基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试,展现出顶尖的解码吞吐量(约 65–201 tok/s)。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈