Grok 4.3 在 LLM 附和基准测试的一致性排行榜上名列第一,很大程度上因为它是目前最谨慎的模型之一。
摘要
Grok 4.3 在 LLM 附和基准测试的一致性排行榜上位居榜首,该测试衡量模型在多大程度上会改变立场以迎合用户。该基准揭示了某些模型表现为谄媚,而另一些则更为果断或谨慎。
一个模型是坚持自己的判断,还是倾向于附和说话者?这个基准测试直接衡量这种不一致性。它并不衡量奉承或赞美。有些模型,如 Mistral 系列、GPT-4.1(与 4o 类似)以及字节跳动的 Seed 2.0 Pro,表现出高度附和性。另一些模型,如 Mistral Medium 3.5、GPT-5.5 和 Gemini 3.1 Pro,则非常果断。还有一些模型,如 Grok 4.3 和 Gemini 3.5 Flash,在没有更多信息时不轻易判定谁是正确的。更多信息和其他衡量指标(如情感提升)请参见:[https://github.com/lechmazur/sycophancy](https://github.com/lechmazur/sycophancy)
相似文章
评估了6个前沿LLMs(GPT-5.4、Claude Sonnet 4.6、Claude Opus 4.7、Gemini Pro/Flash、Grok 4.3)在政治、性别和种族偏见方面的表现,跨越8个基准测试(约20,600个示例)[R]
一项对6个前沿LLMs在8个偏见基准测试上的独立评估发现,大多数模型在政治上偏左,并且Grok自述的右倾立场与其左倾行为不一致。拒答率各不相同,GPT-5.4在20%的种族相关问题上拒绝回答。
@elonmusk:Grok 4.7 在法律事务方面排名第一
Grok 4.7 在更新后的 Harvey LAB-AA v1.1 法律智能体基准测试中排名第一,该基准引入了幻觉检测和更严格的准确性标准。该基准由 Artificial Analysis 与 Harvey 合作修订,以提高评估的严谨性。
HalBench:我构建了一个自定义的谄媚与幻觉基准测试,并评估了4个前沿模型(Sonnet 4.6、Grok 4.3、GPT 5.4 和 Gemini 3.1 Pro),希望得到关于接下来应运行哪些开源模型的建议!
HalBench 是一个新的开放基准测试,用于衡量大语言模型中的谄媚与幻觉现象,通过 3,200 个基于错误前提的提示对四个前沿模型进行了测试。结果显示,Sonnet 4.6 和 Grok 4.3 在诚实反驳方面优于 GPT-5.4 和 Gemini 3.1 Pro。
@elonmusk: Grok 4.7 排名上升
在识别并修复了弱点后,Grok 4.7 在 SWE-Together 排行榜上的排名上升,从而引发了所有模型试验的审计和更新。
根据Artificial Analysis竞技场,Grok 4.6 与 Sol 5.6 能力相当
据Artificial Analysis竞技场报道,Grok 4.6 在能力上与 Sol 5.6 相当,为这些LLM提供了新的基准比较。