ai-benchmark

标签

Cards List
#ai-benchmark

我们重新规范地运行了基准测试。15个模型、3,595条回复,以及我们上次的两个结果未能经受住验证

Reddit r/AI_Agents ↗ · 2026-09-03

本文详细描述了对15个模型进行的AI基准测试重新运行,纠正了先前的错误,并分析了多语言定价任务中的准确性、成本和写作质量等因素。

0 人收藏 0 人点赞
#ai-benchmark

@ArtificialAnlys: 我们更新了 Artificial Analysis Image Editing Arena,扩展了测试的编辑任务范围,从增强…

X AI KOLs Timeline ↗ · 2026-09-02 缓存

Artificial Analysis Image Editing Arena 已更新,扩展了编辑任务和用例,提供了一个全面的排行榜,根据人类偏好对各种图像编辑场景中的AI模型进行排名。

0 人收藏 0 人点赞
#ai-benchmark

MineBench 上 Fable 5 与 Fable 5.1 的差异

Reddit r/singularity ↗ · 2026-09-02

在 MineBench 上的基准测试显示,由于推理时间更长,Fable 5.1 的成本和推理时间均高于 Fable 5,但它能实现更详细的 3D 构建,包括可识别的室内环境。

0 人收藏 0 人点赞
#ai-benchmark

VoiceLongMemEval:AI助手能否记住你说话时的语音特征?

arXiv cs.AI ↗ · 2026-09-02 缓存

本文介绍了VoiceLongMemEval (VLME)基准,它评估AI助手在长期对话中记忆和推理语音副语言元数据(如情感和韵律)的能力,揭示了当前模型中存在的'情感差距'。

0 人收藏 0 人点赞
#ai-benchmark

@ArizePhoenix:在Terminal-Bench 4.0上达到55.8%(较Fable 5的42.0%提升),在Terminal-Bench-Science上达到52.6%(较24.7%提升),在…达到65.0%

X AI KOLs Following ↗ · 2026-09-01 缓存

ArizePhoenix在Terminal-Bench 4.0和Humanity's Last Exam等基准测试中表现出显著的性能提升,较之前的版本如Fable 5有显著进步。

0 人收藏 0 人点赞
#ai-benchmark

Quasar 438B(Multiverse Computing出品)目前是AA评定的最佳欧洲大语言模型。

Reddit r/singularity ↗ · 2026-09-01

Quasar 438B(来自Multiverse Computing)据称是欧洲最佳大语言模型,尽管它是专有的,并且在细节上缺乏透明度。

0 人收藏 0 人点赞
#ai-benchmark

@ApexAIHighlight:大多数AI基准测试模型是否能给出正确答案。@Accio_official 正在测试更难的事情:能否……

X AI KOLs Timeline ↗ · 2026-09-01 缓存

CommerceAgentBench是一个新的基准测试,包含107个真实电子商务任务,旨在检验AI代理能否实际完成工作,超越传统的基于答案的AI基准测试。

0 人收藏 0 人点赞
#ai-benchmark

经专家验证的STEM问答

arXiv cs.AI ↗ · 2026-09-01 缓存

本文介绍了一个经专家验证的STEM问答数据集,旨在填补现有基准测试中的空白,展示了前沿AI模型的低性能以及模型训练的潜力。

0 人收藏 0 人点赞
#ai-benchmark

哪个大语言模型在渗透测试中表现最佳?基准测试来揭晓

Reddit r/LocalLLaMA ↗ · 2026-08-30 缓存

HunterBench 引入了一个基准测试,用于评估大语言模型在自主渗透测试任务上的表现,根据在两个模拟实验室中的覆盖范围和利用能力进行评分。

0 人收藏 0 人点赞
#ai-benchmark

我们使用HFlow评估最新的开放权重VLMs用于处理自我中心数据

Reddit r/LocalLLaMA ↗ · 2026-08-30

本文使用HFlow评估开放权重VLMs在处理自我中心数据方面的表现,显示Gemma和Qwen等模型与Gemini基线相比达到高精度,同时成本更低且适合自托管。

0 人收藏 0 人点赞
#ai-benchmark

HumanEval基准测试:Deepseek V4 Flash 0731 对比 GLM5.3 Flash 在双DGX Spark配置上的表现

Reddit r/LocalLLaMA ↗ · 2026-08-29

一项在双DGX Spark配置上的个人基准测试对比显示,GLM5.3 Flash在HumanEval上准确率更高,但上下文长度减小且速度较慢。

0 人收藏 0 人点赞
#ai-benchmark

@cline: GLM-5.3 (max) 在新的 Terminal-Bench 4.0 上超越了 GPT-5.6 Sol (max)。看到开放权重竞争如此激烈,真是令人难以置信……

X AI KOLs Timeline ↗ · 2026-08-29 缓存

GLM-5.3 (max) 在 Terminal-Bench 4.0 上超越了 GPT-5.6 Sol (max),突显了开放权重 AI 模型的竞争力,同时推广 Cline 的折扣访问。

0 人收藏 0 人点赞
#ai-benchmark

有人在Political Compass测试上测试了各种AI模型...

Reddit r/LocalLLaMA ↗ · 2026-08-29 缓存

本文详细描述了在各种AI模型上进行Political Compass测试的实验,重点关注方法论、评分验证以及多次运行的结果以确保可重复性。

0 人收藏 0 人点赞
#ai-benchmark

@ryan_marten: 我们已将Terminal-Bench数据集和排行榜的版本进行更新。Terminal-Bench 4.0 校准了任务资源…

X AI KOLs Timeline ↗ · 2026-08-29 缓存

Terminal-Bench 4.0 版本已发布,更新了数据集和排行榜,包括校准的任务资源、任务修复以及移除饱和任务。

0 人收藏 0 人点赞
#ai-benchmark

将任务专业知识融入强化学习,实现在text-to-SQL上的最佳性能(18分钟阅读)

TLDR AI ↗ · 2026-08-28 缓存

本文描述了一种带有可验证奖励的强化学习方法,用于微调AI模型以进行text-to-SQL任务,在BIRD基准上达到了无需辅助结构的人类水平准确率。

0 人收藏 0 人点赞
#ai-benchmark

@himanshustwts: 我试图理解TB-science的任务设计哲学。他们明确拒绝了诸如 - 教科书微分…

X AI KOLs Timeline ↗ · 2026-08-27 缓存

Terminal-Bench-Science 是一个新基准,版本0.1.0,用于评估AI代理在科学研究工作流上的表现,由斯坦福社区主导开发。

0 人收藏 0 人点赞
#ai-benchmark

@matanSF: ProgramBench 是一个基准测试,代理必须完全从头开始复现真实软件的可观察行为…

X AI KOLs Following ↗ · 2026-08-27 缓存

ProgramBench 是一个代理从头开始复现真实软件行为的基准测试。Factory 被宣布为最先进的逆向工程系统,在模型无关的长期代理方面取得了突破。

0 人收藏 0 人点赞
#ai-benchmark

我在想,人们什么时候才能意识到我们需要把这个重新带回来呢?

Reddit r/AI_Agents ↗ · 2026-08-27

作者主张恢复'大海捞针'基准测试来评估AI能力,分享了私人测试结果,显示许多模型在记忆指令方面表现不佳,质疑其在实际任务中的可靠性。

0 人收藏 0 人点赞
#ai-benchmark

在 RTX 6000 上对比社区量化 Qwen 3.8 27B 与 Claude Opus 4.6

Reddit r/LocalLLaMA ↗ · 2026-08-26

对 RTX 6000 GPU 上社区量化的 Qwen 3.8 27B 模型与 Claude Opus 4.6 进行基准比较,评估其在创建 HTML 游戏时的 token 生成速度和效率。

0 人收藏 0 人点赞
#ai-benchmark

unsloth/GLM-5.3-Flash-GGUF

Hugging Face Models Trending ↗ · 2026-08-26 缓存

GLM-5.3-Flash 是 GLM-5 系列中首个原生多模态模型,拥有 3200 亿总参数和 180 亿活跃参数,采用混合稀疏线性注意力架构以降低成本,同时在基准测试中性能超越前代版本并接近 Claude Opus 4.8。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈