leaderboards

MiniMax 正式发布 M3.1 Flash，宣称在编码任务上接近 Opus 和 GPT 水平，而成本低约 25 倍；此前以代号 Space Bunny 登顶全球使用榜单。该模型现已在 Cline 中免费提供。

本文表明，Chatbot Arena 排名所依据的 Bradley–Terry 模型假设成立的 Luce 选择公理，在近乎相同的模型上并不成立：基于 Arena 的 180 万次投票，相似模型之间的投票结果所体现的偏好强度最高可达 Bradley–Terry 模型预测值的 1.37 倍。仅需四到六个参数的小幅修正即可改善对留出投票数据的预测，但排行榜顺序几乎没有变化。

这项研究检验了人工智能排行榜中的经济基准是在衡量独立能力，还是仅仅反映一个总体趋势，结果表明它们提供了额外的信息，但主要受时间因素驱动。

文章批评人工智能排行榜因隐藏评估工具的影响而简化了代理评估，以Questflow的智能财务基准为例，并强调代理基准中需要全面报告。

Uber总裁证实内部存在一个AI采纳率排行榜，该排行榜跟踪工具使用情况并影响人员配置决策，引发了对劳动力自动化和AI在就业中角色的担忧。

Researchers show agent leaderboards rank task specialization rather than capability, with agent main effects accounting for under 3% of variance across three benchmarks, and propose a Deployment Decision Reliability framework.

开源模型在实际支出份额的两项新任务排行榜上名列前茅，其中 DeepSeek V4 Pro 在 shell 执行方面领先，Kimi K3 在工具调度方面领先，这表明模型路由正转向按任务特定化。

本文对离线根因分析基准进行了审计，发现聚合排行榜隐藏了子系统特定的获胜者，通过对11个子系统的778个案例进行成对比较。它发布了一个320行的审计模块，用于重新计算每个子系统的稳定性检查。

Papers with Code 是一个专注于人工智能研究论文与代码的平台，在被 Meta 收购后，由 Hugging Face 从头重建，为研究、代码实现以及特定任务的排行榜提供了统一入口。

当多个AI模型以相同价格运行一周时，实际的token使用量揭示了与排行榜排名不同的偏好差异，表明编码和通用聊天各有不同的顶级模型，且长上下文使用集中在两个受信任的模型上。

本文认为，针对LLM智能体基准测试的聚合得分排行榜未能捕捉到与部署相关的维度，并且表现出排名不稳定性。文章提出根据预测有效性（即样本内排名与样本外排名之间的相关性）来对配置进行排序，并引入了一个十二层级的测量体系以及可证伪的分布外准则。

Papers Without Code 现在支持用户浏览封闭源模型（如 GPT-5.5 和 Opus 4.8）的评估结果和排行榜，并可在设置中切换。

本文推荐了一个名为 Sophon 的网站，它聚合了 AI 领域的论文、模型、基准测试、排行榜和强化学习环境等信息，提供实时排行榜、对比和订阅功能，被誉为 AI 研究的 Bloomberg 终端。

本文介绍了一项基于对计算机科学研究人员访谈的定性研究，揭示了一个实用怀疑主义的悖论：研究人员不信任LLM排行榜排名，却仍将其作为粗略的决策指南。研究发现，同行网络是模型选择的主要途径，基于竞技场（人工投票）的排行榜更受青睐，而成本透明是最被要求的功能。

来自 Hugging Face 的 Niels 宣布了复兴的 PapersWithCode 平台的新功能，包括多指标排行榜、支持外部论文、论文谱系等。

来自Hugging Face的Niels宣布复兴PapersWithCode，新平台为paperswithcode.co，能够大规模解析高影响力的AI论文，并自动生成排行榜和基准测试，融合了热门论文、领域分类以及外部论文支持等功能。

NielsRogge宣布PapersWithCode复兴，该平台按领域提供SOTA、排行榜和方法，并使用AI智能体大规模解析。