@theo:关于LLMs,我们喜欢将'聪明'和'愚蠢'视为一个维度(因为我们对人类也是这样思考的)。我想对此提出异议……

X AI KOLs Timeline 新闻

摘要

作者反对将LLM智能视为单一维度,主张为'聪明'和'愚蠢'特质设立独立维度,并以Gemini、Astra和Fable 5.1为例,说明模型如何同时展现这两种特性。

关于LLMs,我们喜欢将'聪明'和'愚蠢'视为一个维度(因为我们对人类也是这样思考的)。 我想反驳这种看法。相反,尝试将'聪明'和'愚蠢'视为两个不同的维度。一个模型可以同时非常聪明和非常愚蠢。 举个例子,看看Gemini模型。它们非常聪明:你可以对它们进行基准测试,看看能力。Google在其模型中嵌入的知识量是惊人的。然而,当你让它们工作时,它们会做的愚蠢事情也同样惊人。它们同时'聪明'和'愚蠢'。 类似地,看看像Fable 5.1这样的模型。它不如Astra聪明,但愚蠢程度显著降低。Astra仍然是目前最聪明的模型,但它也是最愚蠢的之一,经常做一些毫无意义的事情。 找到'聪明'和'愚蠢'之间的正确平衡是每个人都需要解决的挑战,从用户到研究人员。如果我们不再将其视为非此即彼,而是意识到两者可以共存,理解模型行为就会容易得多。
查看原文
查看缓存全文

缓存时间: 2026/09/27 09:15

对于大语言模型,我们习惯将“聪明”与“笨拙”视为同一条轴线的两极(因为我们总是如此看待人类)。

我想对此提出异议。不妨将“聪明”与“笨拙”视为两个独立的维度——一个模型可以同时具备极高的智能与显著的缺陷。

以Gemini模型为例:它们展现出惊人的聪明才智,通过基准测试即可证明其强大能力。谷歌注入模型中的知识体系确实令人惊叹。然而当你真正使用这些模型完成任务时,它们同样会做出令人匪夷所思的愚蠢举动。它们既“聪明”又“笨拙”的特质并存。

类似地,观察Fable 5.1这类模型。虽然其智力水平不及Astra,但在避免犯蠢方面表现显著更优。目前Astra仍是可用的最聪明模型,但同时也属于最易犯蠢的模型之一——经常执行完全不合逻辑的操作。

如何把握“智能”与“缺陷”之间的平衡,是用户到研究者都需要探索的课题。当我们摒弃非此即彼的二元思维,认识到这两种特质可以共存时,理解模型行为将变得简单得多。

相似文章