标签
本文详细描述了对15个模型进行的AI基准测试重新运行,纠正了先前的错误,并分析了多语言定价任务中的准确性、成本和写作质量等因素。
Artificial Analysis Image Editing Arena 已更新,扩展了编辑任务和用例,提供了一个全面的排行榜,根据人类偏好对各种图像编辑场景中的AI模型进行排名。
在 MineBench 上的基准测试显示,由于推理时间更长,Fable 5.1 的成本和推理时间均高于 Fable 5,但它能实现更详细的 3D 构建,包括可识别的室内环境。
本文介绍了VoiceLongMemEval (VLME)基准,它评估AI助手在长期对话中记忆和推理语音副语言元数据(如情感和韵律)的能力,揭示了当前模型中存在的'情感差距'。
ArizePhoenix在Terminal-Bench 4.0和Humanity's Last Exam等基准测试中表现出显著的性能提升,较之前的版本如Fable 5有显著进步。
Quasar 438B(来自Multiverse Computing)据称是欧洲最佳大语言模型,尽管它是专有的,并且在细节上缺乏透明度。
CommerceAgentBench是一个新的基准测试,包含107个真实电子商务任务,旨在检验AI代理能否实际完成工作,超越传统的基于答案的AI基准测试。
本文介绍了一个经专家验证的STEM问答数据集,旨在填补现有基准测试中的空白,展示了前沿AI模型的低性能以及模型训练的潜力。
HunterBench 引入了一个基准测试,用于评估大语言模型在自主渗透测试任务上的表现,根据在两个模拟实验室中的覆盖范围和利用能力进行评分。
本文使用HFlow评估开放权重VLMs在处理自我中心数据方面的表现,显示Gemma和Qwen等模型与Gemini基线相比达到高精度,同时成本更低且适合自托管。
一项在双DGX Spark配置上的个人基准测试对比显示,GLM5.3 Flash在HumanEval上准确率更高,但上下文长度减小且速度较慢。
GLM-5.3 (max) 在 Terminal-Bench 4.0 上超越了 GPT-5.6 Sol (max),突显了开放权重 AI 模型的竞争力,同时推广 Cline 的折扣访问。
本文详细描述了在各种AI模型上进行Political Compass测试的实验,重点关注方法论、评分验证以及多次运行的结果以确保可重复性。
Terminal-Bench 4.0 版本已发布,更新了数据集和排行榜,包括校准的任务资源、任务修复以及移除饱和任务。
本文描述了一种带有可验证奖励的强化学习方法,用于微调AI模型以进行text-to-SQL任务,在BIRD基准上达到了无需辅助结构的人类水平准确率。
Terminal-Bench-Science 是一个新基准,版本0.1.0,用于评估AI代理在科学研究工作流上的表现,由斯坦福社区主导开发。
ProgramBench 是一个代理从头开始复现真实软件行为的基准测试。Factory 被宣布为最先进的逆向工程系统,在模型无关的长期代理方面取得了突破。
作者主张恢复'大海捞针'基准测试来评估AI能力,分享了私人测试结果,显示许多模型在记忆指令方面表现不佳,质疑其在实际任务中的可靠性。
对 RTX 6000 GPU 上社区量化的 Qwen 3.8 27B 模型与 Claude Opus 4.6 进行基准比较,评估其在创建 HTML 游戏时的 token 生成速度和效率。
GLM-5.3-Flash 是 GLM-5 系列中首个原生多模态模型,拥有 3200 亿总参数和 180 亿活跃参数,采用混合稀疏线性注意力架构以降低成本,同时在基准测试中性能超越前代版本并接近 Claude Opus 4.8。