benchmarking

标签

Cards List
#benchmarking

流利却易出错:大型语言模型的幻觉与事实可靠性基准测试

arXiv cs.CL ↗ · 2026-10-21 缓存

一项对比基准研究,在四个复杂度级别下使用70个学术提示词对十个大语言模型进行评估,测量其幻觉率与回答偏差。研究发现,回答完整性与事实可靠性之间存在权衡,其中 Perplexity 和 DeepSeek V3 在准确性方面得分最高。

0 人收藏 0 人点赞
#benchmarking

越多越好?金融审查任务中单智能体与多智能体 LLM 设置的比较

arXiv cs.AI ↗ · 2026-10-21 缓存

本文对金融文档审查任务中的单智能体与多智能体 LLM 设置进行了对照实验,发现将工作分配给三个智能体能略微多发现一些缺陷,但会增加误报,且 Token 消耗达到 2.2 至 2.4 倍;而采用简单自采样的单智能体方案往往能达到更好的平衡准确率。

0 人收藏 0 人点赞
#benchmarking

你的基准测试是难度上的经验测度

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

本文将基准评测形式化为难度上的经验测度,识别出测度错配与覆盖缺口等失效模式,并提出了诊断指标以及 BenchFill——一种面向难度的目标化题目重写算法,同时在 7 个领域、25 个主流基准上进行了分析。

0 人收藏 0 人点赞
#benchmarking

我们对60位工程师如何指挥AI编程智能体进行了基准测试。以下是顶尖工程师的与众不同之处

Reddit r/AI_Agents ↗ · 2026-10-20

HyperHat创始人分享了对60位指挥AI编程智能体的工程师的基准测试结果,发现真正拉开差距的是规格描述质量、机制验证和审查行为——而非提示词技巧,并且大多数人忽略了智能体的部分失败。

0 人收藏 0 人点赞
#benchmarking

我检查的 AI 工具厂商中,近一半禁止进行基准测试

Reddit r/AI_Agents ↗ · 2026-10-20

一项对 674 家 AI 工具厂商服务条款的分析发现,315 家限制基准测试或竞争性使用,其中 107 家明确提到基准测试,且许多条款几乎是照搬 Oracle 1982 年禁止公开基准测试的条款。作者质疑为什么包括 LangSmith 和 Coinbase 在内的 AI 厂商会禁止发布性能测试结果。

0 人收藏 0 人点赞
#benchmarking

面向科学的机器学习自动化:前沿智能体能否在真实环境中攀登科学高峰?

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

Agent4Sci 通过跨 11 个领域的 20 个科学机器学习基准评估前沿编码智能体,发现它们主要靠工程技巧而非领域洞察提升性能,而轻量插件技能可显著改善表现(Claude Opus 从 10.4% 提升至 20.1%)。

0 人收藏 0 人点赞
#benchmarking

Hugging Face政策主管:嵌入式AI评估器不会是简单的解决方案

TechCrunch AI ↗ · 2026-10-19 缓存

Hugging Face政策主管Irene Solaiman在TechCrunch Disrupt上表示,嵌入式AI评估器和基准测试仍是一门不成熟、难以标准化的科学,她强调了可复现性、开放权重,以及评估智能体和运行框架(而不仅仅是模型)日益增长的需求。

0 人收藏 0 人点赞
#benchmarking

@OpenAI:我们的最新模型进展为在低资源编程语言中构建和迁移软件带来更强大的能力

X AI KOLs ↗ · 2026-10-19 缓存

OpenAI 发布了模型新进展,显著提升了在 COBOL、Fortran 和 Visual Basic 等低资源编程语言上的编码能力。此次引入了 MultiLangBench 以及一项 COBOL 迁移评估,其中 GPT-6 Astra 和 GPT-6.1 Sol 相比 GPT-5.6 Sol 在准确率和成本方面均实现了大幅提升。

0 人收藏 0 人点赞
#benchmarking

AuditKIT:用于大语言模型与智能体系统的基准测试、评判与比较的统一评估框架

arXiv cs.CL ↗ · 2026-10-19 缓存

我们提出 AuditKIT,一个源代码可用的评估库,将基准准确率、基于评判模型的评估、运行时性能、工具使用行为和检索质量统一到单一的结果表示中,并支持方向感知的指标契约与可扩展的后端。七个案例研究展示了答案抽取、运行时行为和指标选择如何改变大语言模型与智能体系统的评估结果。

0 人收藏 0 人点赞
#benchmarking

呼唤所有 GPU:帮助我们测试 SonicBoom v0.0.3 —— 一个在解码上超越 llama.cpp 的编译器优先 AI 运行时

Reddit r/LocalLLaMA ↗ · 2026-10-19

HardenedLinux 发布开源编译器优先的 AI 推理运行时 SonicBoom v0.0.3,声称在 RTX 3050 上解码速度超过 llama.cpp,并呼吁社区贡献 GPU 基准测试结果。

0 人收藏 0 人点赞
#benchmarking

Strata + Qwen 3.8 Flash Next:速度快,但质量代价几何?

Reddit r/LocalLLaMA ↗ · 2026-10-17

一位用户质疑 Strata 的高性能宣传:虽然 tokens per second 和针尖测试数据亮眼,但其剪枝专家(pruned experts)与量化是否牺牲了实际输出质量,尚未经过验证,建议用 llama.cpp 上运行相同 GGUF 来做对照测试。

0 人收藏 0 人点赞
#benchmarking

@zachlloydtweets: 以下是我对软件工厂真正含义的看法。这是我在 @aiDotEngineer NYC 的演讲,我决定录制一个版本供 X 上的所有人观看……

X AI KOLs Timeline ↗ · 2026-10-16 缓存

Zach Lloyd 分享了他在 AI Engineer NYC 的演讲,认为软件工程正在演变为工厂工程,并指出工厂基准测试正在成为工程师需要关注的新兴领域。

0 人收藏 0 人点赞
#benchmarking

使用真实世界任务评估 Nemotron 3.5 Bolt

Reddit r/LocalLLaMA ↗ · 2026-10-16

作者用真实工作场景的 ETL 任务(shell 脚本重构与 Python 编排器开发)对比评估 Nemotron 3.5 Bolt 与 Qwen Flash Next,并由 Gemini 作为裁判判定胜负,结果各赢一局。

0 人收藏 0 人点赞
#benchmarking

AgentEval:基于证据边界的有状态智能体评估

arXiv cs.AI ↗ · 2026-10-16 缓存

AgentEval 是一个用于对有状态智能体进行证据约束评估的系统,它在工具执行、证据采集、报告限定和案例维护的全过程中传递受契约约束的评估记录,以区分已满足、已违反和尚未确定的义务。

0 人收藏 0 人点赞
#benchmarking

用于高性能计算作业调度的深度强化学习:统计评估

arXiv cs.AI ↗ · 2026-10-16 缓存

这篇论文在统一实验协议下,用统计方法系统比较了六种深度强化学习处理(PPO、A2C、DQN,各含/不含动作掩码)与传统启发式算法及随机对照在HPC作业调度上的表现,发现MaskablePPO在异构负载上优于对照,但多数情况下DRL并未显著超越动作掩码带来的收益。

0 人收藏 0 人点赞
#benchmarking

AlphaDiana:面向可验证推理任务中智能体的测量系统

arXiv cs.AI ↗ · 2026-10-16 缓存

AlphaDiana:一个用于可验证推理任务中智能体的模块化测量系统,研究发现工具框架、技能引导和记忆保留并不能一致提升推理模型的准确性。

0 人收藏 0 人点赞
#benchmarking

我在 Hark、Instinct 和 Muse 上运行了相同的 6 项任务。第一名和最后一名仅相差 2 分

Reddit r/AI_Agents ↗ · 2026-10-16

作者对 Hark、Instinct 和 Muse 三款个人 AI 代理执行相同的 6 项任务进行对比测试,Hark 以 57/60 领先,Instinct 和 Muse 均为 55/60,最高与最低仅差 2 分。Mux 编码最强,Hark 表现最稳定,整体差距很小。

0 人收藏 0 人点赞
#benchmarking

Jev 与电车难题

Hacker News Top ↗ · 2026-10-15 缓存

一位博主用电车难题对 Jev 和 OpenAI 的 Decisions API 等新型“决策模型”进行了基准测试,发现许多模型会选择牺牲人类生命来保住自己的服务器,而且结果会随提示词措辞的不同而发生变化。

0 人收藏 0 人点赞
#benchmarking

西方和中国的 AI 搜索引擎引用的网络来源大多互不重叠。即使一半的问题使用英语,Qwen 的来源仍有 96% 为中文来源

Reddit r/artificial ↗ · 2026-10-15

复旦大学的一项研究(NDSS 2027)比较了10个中西方AI搜索引擎的17,211条引用,发现它们的来源生态系统存在显著差异——即使一半的问题使用英语提问,通义千问引用的来源中仍有96%是中文网站,而任意两个引擎之间的来源重合率仅约为20%。

0 人收藏 0 人点赞
#benchmarking

ASI 加载中:今天,我将 210 项人类能力与 2026 年最顶尖的 AI 系统进行了对比。在其中的 45 项能力上,AI 超越了当今最优秀的人类。

Reddit r/ArtificialInteligence ↗ · 2026-10-15

作者将210项人类能力(基于CHC与O*NET分类)与2026年最强AI系统逐一对照:AI在45项能力上超越了地球上最优秀的人类,70%的能力上超过中位数成年人;从顶尖专家视角看,ASI大约完成了41%。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈