@mylifcc: http://Arena.ai 刚刚把「事实性(Factuality)」正式加入模型排名。 现在排行榜支持「人类偏好 + 事实性」加权查看(默认 25% 事实性权重)。他们已标注超过 200 万个真实对话中的 claims(Text Ar…

X AI KOLs Timeline 工具

摘要

Arena.ai 将事实性(Factuality)加入模型排名,支持人类偏好与事实性加权,并展示了各模型排名变化。

http://Arena.ai 刚刚把「事实性(Factuality)」正式加入模型排名。 现在排行榜支持「人类偏好 + 事实性」加权查看(默认 25% 事实性权重)。他们已标注超过 200 万个真实对话中的 claims(Text Arena 130 万+,Search Arena 70 万+),通过随机抽样 battle 提取可验证主张并校验正确率。 Factuality 已在 Text 和 Search Arena 上线(可手动开启)。 Factuality 开启后的主要变化: GPT-5.5 上升最多,+13 位进入第 7 名 Claude Fable 5 略降,仍居第 2 Muse Spark 下降最大,从第 7 掉到第 20 Meta 从第 2 掉到第 5,Anthropic 保持第 1 开源模型里 Xiaomi 提升最明显(第 9 → 第 6) 有趣的是,只有 OpenAI 在较长时间内持续提升事实性;大多数开源模型在提高事实性权重后分数反而下降(少数例外如 mistral-medium-3.5 和腾讯 huyuan-hy3-preview)。 Search Arena 里 GPT-5.5-search 拿下 Factuality 榜首,GPT-5.2-search 也大幅上升。 详细方法论、不同权重下的交互图表和完整分析: https://arena.ai/blog/factuality-in-arena/… 这个更新让「说真话」从隐性要求变成了可量化的排序维度,对需要可靠输出的 agent 系统有参考价值。
查看原文
查看缓存全文

缓存时间: 2026/07/16 06:06

http://Arena.ai 刚刚把「事实性(Factuality)」正式加入模型排名。 现在排行榜支持「人类偏好 + 事实性」加权查看(默认 25% 事实性权重)。他们已标注超过 200 万个真实对话中的 claims(Text Arena 130 万+,Search Arena 70 万+),通过随机抽样 battle 提取可验证主张并校验正确率。 Factuality 已在 Text 和 Search Arena 上线(可手动开启)。

Factuality 开启后的主要变化:

GPT-5.5 上升最多,+13 位进入第 7 名 Claude Fable 5 略降,仍居第 2 Muse Spark 下降最大,从第 7 掉到第 20 Meta 从第 2 掉到第 5,Anthropic 保持第 1 开源模型里 Xiaomi 提升最明显(第 9 → 第 6)

有趣的是,只有 OpenAI 在较长时间内持续提升事实性;大多数开源模型在提高事实性权重后分数反而下降(少数例外如 mistral-medium-3.5 和腾讯 huyuan-hy3-preview)。

Search Arena 里 GPT-5.5-search 拿下 Factuality 榜首,GPT-5.2-search 也大幅上升。 详细方法论、不同权重下的交互图表和完整分析: https://arena.ai/blog/factuality-in-arena/…

这个更新让「说真话」从隐性要求变成了可量化的排序维度,对需要可靠输出的 agent 系统有参考价值。


Arena AI: The Official AI Ranking & LLM Leaderboard

Source: https://arena.ai/ Inputs are processed by third-party AI and responses may be inaccurate.

Your conversations and certain other personal information will be disclosed to the relevant AI providers and may otherwise be disclosed publicly to help support our community and advance AI research.

Do not submit to our Services any personal information or other sensitive information that you would not want to be shared publicly. By continuing to use our Services, you acknowledge and direct us to engage in such sharing.

Arena.ai (@arena): Introducing factuality in the Arena: a new ranking of models according to a weighted combination of human preference and factuality.

Model rankings are now viewable according to a weighted combination of human preference and factuality. Factuality is live in our Text and Search

相似文章

@MindfulReturn: 今天看到黄碧薇教授 @huang_biwei 的访谈,看到他们新一轮融资的消息!了解到 Aether AI 的方案,多看了几眼他们的方向之后,我说说我看法: AI 的下一个范式:不是更大的模型,是因果关系。 一、相关性天花板:为什么画面很…

X AI KOLs Timeline

文章深度分析Aether AI(原识之智)提出的因果世界模型(CWM),认为AI下一个范式将从相关性转向因果关系,并讨论了其理论基础、技术架构及对视频生成和具身智能领域的潜在影响。