@mylifcc: http://Arena.ai 刚刚把「事实性(Factuality)」正式加入模型排名。 现在排行榜支持「人类偏好 + 事实性」加权查看(默认 25% 事实性权重)。他们已标注超过 200 万个真实对话中的 claims(Text Ar…
摘要
Arena.ai 将事实性(Factuality)加入模型排名,支持人类偏好与事实性加权,并展示了各模型排名变化。
查看缓存全文
缓存时间: 2026/07/16 06:06
http://Arena.ai 刚刚把「事实性(Factuality)」正式加入模型排名。 现在排行榜支持「人类偏好 + 事实性」加权查看(默认 25% 事实性权重)。他们已标注超过 200 万个真实对话中的 claims(Text Arena 130 万+,Search Arena 70 万+),通过随机抽样 battle 提取可验证主张并校验正确率。 Factuality 已在 Text 和 Search Arena 上线(可手动开启)。
Factuality 开启后的主要变化:
GPT-5.5 上升最多,+13 位进入第 7 名 Claude Fable 5 略降,仍居第 2 Muse Spark 下降最大,从第 7 掉到第 20 Meta 从第 2 掉到第 5,Anthropic 保持第 1 开源模型里 Xiaomi 提升最明显(第 9 → 第 6)
有趣的是,只有 OpenAI 在较长时间内持续提升事实性;大多数开源模型在提高事实性权重后分数反而下降(少数例外如 mistral-medium-3.5 和腾讯 huyuan-hy3-preview)。
Search Arena 里 GPT-5.5-search 拿下 Factuality 榜首,GPT-5.2-search 也大幅上升。 详细方法论、不同权重下的交互图表和完整分析: https://arena.ai/blog/factuality-in-arena/…
这个更新让「说真话」从隐性要求变成了可量化的排序维度,对需要可靠输出的 agent 系统有参考价值。
Arena AI: The Official AI Ranking & LLM Leaderboard
Source: https://arena.ai/ Inputs are processed by third-party AI and responses may be inaccurate.
Your conversations and certain other personal information will be disclosed to the relevant AI providers and may otherwise be disclosed publicly to help support our community and advance AI research.
Do not submit to our Services any personal information or other sensitive information that you would not want to be shared publicly. By continuing to use our Services, you acknowledge and direct us to engage in such sharing.
Arena.ai (@arena): Introducing factuality in the Arena: a new ranking of models according to a weighted combination of human preference and factuality.
Model rankings are now viewable according to a weighted combination of human preference and factuality. Factuality is live in our Text and Search
相似文章
@rohanpaul_ai:Arena 刚刚发布了一个真实世界的智能体排行榜,该排行榜根据人工智能模型完成实际用户任务的效果进行排名,而不仅仅是……
Agent Arena 是一个新的排行榜,它通过任务成功、可操控性和恢复等信号评估人工智能模型在编码、研究、文件分析等真实世界智能体任务上的表现,其中 GPT-5.5 High 领先。
@MindfulReturn: 今天看到黄碧薇教授 @huang_biwei 的访谈,看到他们新一轮融资的消息!了解到 Aether AI 的方案,多看了几眼他们的方向之后,我说说我看法: AI 的下一个范式:不是更大的模型,是因果关系。 一、相关性天花板:为什么画面很…
文章深度分析Aether AI(原识之智)提出的因果世界模型(CWM),认为AI下一个范式将从相关性转向因果关系,并讨论了其理论基础、技术架构及对视频生成和具身智能领域的潜在影响。
@FinanceYF5: 普通用户如何在个人生活中使用 AI? 基于约 4 万条 Claude 对话的最新分析 占比最大的类别是健康/养生,其次是职业/职场发展。第三名(人际关系)与前两名相比出现明显断层。
基于约4万条Claude对话的分析显示,普通用户在个人生活中使用AI的主要场景是健康/养生和职业发展,其中健康类占比最高。
RealityTest:人们如何探询AI身份及模型是否披露身份
本文介绍了RealityTest,这是一个多模态、多语言基准测试,用于评估AI系统在被用户探询时是否会披露其身份。该基准基于来自49个国家的真实人类查询数据。研究发现,只有31%的人会直接询问身份,并且人类提出的问题比合成问题更加多样化。结果表明,问题的措辞和对话背景对披露行为的影响比具体模型更大。
Natural Conversations with GPT-Live
OpenAI 展示新版语音模型在个性化和自然度上的突破,能够进行自然的头脑风暴式对话,表现出共情和适时插话能力,接近人类对话节奏。