@_jasonwei: 当语言模型首次开始良好使用工具时，我曾同情那种认为无需扩大语言模型规模（lang…）的叙述。

当语言模型首次开始良好使用工具时，我曾同情那种认为无需扩大语言模型规模，只需一个足够强大的“认知核心”，比如10亿参数，其他任何事情都可以通过工具使用来完成，比如浏览互联网或执行代码。我认为很多人都同意这个论点，而且确实很难想出一项有意义的任务，原则上无法通过一个拥有充分工具访问权限的10亿参数模型来完成。例如，大型语言模型可能知道的任何深奥事实，原则上都可以从互联网上检索，并由一个10亿参数语言模型进行推理。 然而，我现在认为这完全错误，原因很简单：无需工具使用就能快速自然地完成任务非常重要。 我内化这个原因的方式实际上是在今年学习羽毛球的个人旅程中。在羽毛球中，我非常像一个“10亿参数认知核心”。虽然我可以在身体上做到教练教我的每一个击球动作，但在心理上记住每一个提示并将其组合起来需要大量努力。实际上，我几乎可以完美地完成一次击球，但在整个回合中我很难做到，而且在比赛中肯定无法稳定地做到。这显然与那些将一个击球练习了一万次，并毫不费力地将其作为自然本能执行的人不同。 同样，语言模型内部知道一个事实，无需工具调用，是有意义的。第一个原因是我们显然关心速度；你宁愿立即得到答案，也不愿让模型思考很长时间以确保答案正确或浏览网页。第二个原因是有些事情最好通过大量数据的反向传播来学习。如果你询问人们对Shambhala音乐节的看法，你宁愿大型语言模型基于互联网上的所有数据给出一个综合意见，也不愿得到网络搜索中出现的前三个评论的重复。第三个原因是，必须做大量工作来寻找答案不如已经知道答案可靠。虽然理论上这不一定成立，但实践中可能成立，至少目前如此。如果必须不断重新查找事实或重新进行数学推导，出错的可能性更高，这在长程任务中可能会累积。 一旦你认同无需工具使用就能参数化地完成任务是有价值的，那么你就必须认同10亿参数认知核心不足的论点。10亿参数模型能够内化的知识量存在信息限制，我们当然希望人工智能知道更多。即使是1万亿参数可能也不够。我们将希望人工智能尽可能多地了解我们的世界，希望它随着新信息而更新，我们对人工智能能为我们做什么的期望将继续增长。 总之，工具使用使小型模型能够做更多事情，但那些要求最高质量智能的人总是会想要更大的模型。苦涩的教训再次显现。